还在运行数据孤岛?再不考虑数据湖就真Out啦!

预计未来十年,数字宇宙将以每年约40%的速度增长,这是个惊人的数字,更重要的是,数字宇宙中囊括了绝大多数企业业务的数据需求。在这种环境下,通过使用数据分析提高竞争力,企业需要有能力满足“信息一代”的需求,这对企业来说至关重要。从帮助预测购买行为到驱动创新项目以增强客户服务或提高生产力,数据湖能整理、存储并分析海量数据,拥有变革业务的巨大能量。分析能力正从企业的“愿望清单”中移除,转而成为必需。

在这种环境下,通过使用数据分析提高竞争力,企业需要有能力满足“信息一代”的需求,这对企业来说至关重要。从帮助预测购买行为到驱动创新项目以增强客户服务或提高生产力,数据湖能整理、存储并分析海量数据,拥有变革业务的巨大能量。分析能力正从企业的“愿望清单”中移除,转而成为必需。

然而,许多组织在早期便遭遇阻力。近半数(49%)的企业知道他们能够从信息和数据中获得更有价值的洞察,但不知道怎么做。

其中一个主要原因是,在最佳实践和大数据项目的业务目标方面,IT和业务线并不总是一致的。虽然一些公司可能在利用基本的数据分析进行试验(而有些公司甚至还没开始),很多还没准备好面对下一个阶段,进入这个阶段,分析将变得复杂和深入得多。实际上,现在,只有19%的企业拥有随时在线的生产力,并能够跨组织范围实时运营。近三分之一的企业甚至还没有开始这样做。

那么,企业什么时候应该扩大规模,投资数据湖?下面四个信号可供参考:

1.运营复杂:在一个“前数据湖”环境中,如果企业正试图扩大基础设施规模,但没有任何额外的全职人工管理支持选项,其数据需求就很有可能超过管理能力。传统的Tier 1数据资源并不总是池化的,这样就为单一管理者可应对的存储空间造成了限制,同样,在构建更灵活的通用存储资源(例如数据湖)方面,管理者也面临难题。

2.运营成本:当公司发现,虽然正试图减少运营成本,但业务对IT的需求却在持续增长时,就是时候该寻求新的办法了。全职人工也会带来管理IT资源的运营成本上升。为了有效应对这些需求,企业或者需要更多人力资源,或者需要投资额外的第三方,支持监控、管理、部署和改善系统。与简单地增加员工人数相比,第二种方法扩展了一个数量级甚至更多。

3.生产压力:另外一个暗示数据湖需求的关键指标是,现有的分析应用正为业务生产系统带来压力。实时分析可能是耗费大量资源的,无论是想通过视频分析,从大量高清视频流中获得洞察,还是研究社交内容瀑布流。这些流程是需要专用资源的,这样,尝试使用生产系统的用户才不会损失性能。数据湖是确保实时分析能够以最佳性能运行的关键。

4.多协议分析:企业需要数据湖,一个最终的关键信号是,数据科学家正在大量不同的Hadoop发行版上运行应用,并且,需要将他们的数据与Hadoop挂钩。未来,随着各种各样的分析实验不断深入,业务线需要IT有能力支持多种协议。企业也需要以数据湖策略为重要依据,进行整体的合理规划。

现在,并不是每家公司都已经做好准备部署数据分析,但大多数会,至少是需要开始计划,否则,就会面临落后于竞争对手的风险。最终,所有公司都需要拥抱数据分析,那些拒绝改变的公司将逐渐褪色,变得默默无闻。

数据湖近在眼前,有人持怀疑的态度,有人热情拥抱。怀疑者认为,数据湖无非另一种将全部数据整合至单一位置的存储形式,支持者认为,数据湖不仅预示着前所未见的存储效率,还让分析成为可能,让每个组织都可用。

暂且搁置争议,让我们看看数据湖带来的变化,以及这些变化对今天的世界意味着什么,从IT直至消费者。

打破数据孤岛

长期以来,数据孤岛一直是存储应用的标准,但是这些系统是运营效率低下的,并且会限制从相关数据中获得更佳洞察的能力。

节约成本也是一大驱动力。除了管理复杂性,孤岛系统还需要多种授权,服务器和其他费用,而数据湖可以经济高效的方式,由单一基础设施提供支持。

随着分析变得更快速、更复杂,组织也需要以同样的方式进化,以探索所有可能性。数据不再单单是数据本身,借助所有组织化数据构建的完整图景,分析解释能够以前所未有的方式,打开新的大门。  

  利用实时分析

数据收集和分析正变得越来越快。像信用卡欺诈预警分析、股票分析这样的应用场景,需要在动作发生后数秒内就实现。不过,实时分析并不都是需要100%立刻马上就实现的。一些数据(如月销售数据、季度财务数据或年度员工表现数据)只需以特定的时间间隔存储并分析。组织需要有能力构建数据湖,为分析提供最大的灵活度。

现在,企业产生的数据比以往任何时候都更多。这种情况为企业带来了独特的问题:需要装备自己分析这些数据,而不仅仅是存储。数据湖与Hadoop平台一道,提供了增加数据价值所需的自动化和透明度。

例如,物联网就是一个产生数据的怪兽,同时,也是一个持续不断追加销售的机会,假设组织能够实时提供有吸引力的产品。确实,广告主正站在利用数据湖获得消费者洞察的趋势前沿,在此基础上,设法将洞察转化成销售。

这种情形下,“实时”意味着:数据湖能够大幅减少分析的价值转化时间,从数月或数星期到几分钟内完成。

新业务模式兴起

数据湖不只是一个内部工具,事实上,数据湖正帮助催生新的业务模式,例如分析即服务(Analytics-as-a-Service),通过提供对数据湖的访问权限,让用户进行自服务分析。

既然分析即服务不是面向所有用户的,那么,它能带来什么好处?外包的基础设施和自动化使分析成本骤降。这意味着公司可以尝试新东西,并可根据客户获取和经验实时调整,无需很多预算。

对那些正寻求外包服务的公司来说,有能力存储、管理并保护数据,作为分析即服务部分内容的服务供应商是一个有用的途径。

知识型员工则带来不同的价值,随着手动操作的部分被移除或显著减少,基于分析结果,他们可将精力更多地用于与业务单元的战略性结合上。对于早期采用来说,分析即服务是一个有效的路径,在零售、公用事业、体育俱乐部等行业处于领先地位。

显然,想要开始获得价值,企业不一定非得自建数据湖。  

目前,从整体上看,数据湖应用尚处于早期阶段,但全球化部署正在不断增长。对于那些还在运行数据孤岛的公司来说,或许是时候该开始尝试实时分析了。

本文转自d1net(转载)

时间: 2024-10-25 19:50:44

还在运行数据孤岛?再不考虑数据湖就真Out啦!的相关文章

曙光“城市大数据平台”冲破数据孤岛、创造数据价值

现代城市是在传统工业化时代形成的.人口膨胀.安全隐患.环境污染和交通拥挤等矛盾成为城市通病.移动互联网.云计算.物联网和大数据等新一代信息技术的成熟和普及,为城市发展和管理模式创新以及产业结构转型开辟了新空间.美国著名咨询公司Forrester提出:"当政府.企业.社区更加依靠信息化应对快速城市化带来的挑战时,城市则会更加智慧". 曙光城市大数据平台作为智慧城市建设的基础支撑平台,它围绕"城市云"打造以承载城市智慧化运行的城市数据服务中心,逐步构建城市特征数据深度融

Commvault蔡报永:数据孤岛是中国企业数据管理的最大障碍

ZD至顶网软件频道消息 原创文章(文/邓晓蕾):专注于企业数据保护及信息管理领域的领导者Commvault像往年一样委托IDC用了三个月的时间针对亚太地区中国.印度等10个不同国家和地区的600位CIO或IT管理者进行"下一代数据管理"调查,旨在了解该地区面临的最大的数据管理驱动力和挑战.Commvault 中国区技术总监对此表示,如果没有一个一体化的数据管理策略,亚太地区及全球各地的企业将很难实现重要数据资产的商业价值.   Commvault 中国区技术总监-蔡报永 企业数据是企业

大数据“孤岛困境”:暗藏“触电”危险与“断电”无奈

政企之间数据不共享,一个个大数据平台将如同孤岛.人民视觉 不喜欢网红脸,有自己的审美标准:热衷于社交个性化:有购买力又不失品位--最近,一份题为<95后审美观>的报告精准勾勒出"95后"的喜好和想法. 这份由QQ大数据发布的报告,通过社交平台上的大数据挖掘,分析"95后"这一年轻群体的审美观及消费观,而这些极有可能影响未来消费品的设计及营销. 随着社交网络.移动互联网和物联网的兴起,大数据越变越大,也带来无限想象力和商业应用价值,被认为是驱动第四次工业革

WASD Tools for Eclipse开发和运行适于Liberty配置文件的数据访问应用程序

使用 WebSphere Application Server Developer Tools for Eclipse开发和运行适用于Liberty配置文件的数据访问应用程序 简介 Liberty 配置文件是 IBM WebSphere Application Server V8.5 中的一个动态的.可组合的配置文件,为 Web 应用程序提供了一个简化的轻型运行时环境.通过使用一个插入目录,或者将应用程序添加到服务器配置中,Liberty 配置文件还提供了快速部署应用程序的功能.Liberty

大众点评频投餐饮ERP 欲破数据孤岛

刘佳 把2014年看作是"生死存亡的门槛"的大众点评,频繁入股餐饮ERP. 从石川科技到天财商龙,不到两周时间,大众点评网对外公布两笔餐饮ERP战略投资.再加上此前投资的餐饮商家提供外卖系统和呼叫中心软件智龙,多笔餐饮ERP投资背后,大众点评正在加速打通餐饮O2O. 与上周对石川科技的投资及合作模式类似,大众点评在天财商龙的持股占比将超过10%,未来天财商龙将与大众点评在商户数据及商户管理系统等方面展开合作. 而在频频出手餐饮ERP公司的背后,大众点评的O2O服务产品――在线订座.点餐

大数据分析之数据孤岛:你能看到它们吗?

从企业和CIO们开始尝试数据挖掘以来,数据孤岛就一直阻碍着商业智能效能的提高.数据孤岛,换句话说昂贵的.需要费尽心血维护却彼此无法兼容的数据库,指望从它们那儿发掘到伟大的知识,无疑于缘木求鱼.也就是说,数据库的数量和挖掘到的知识产量没有任何关系.正如一位商业智能专家所说的,进进出出的都是垃圾. 谈到大数据分析-或者叫数据3V(类别.数量和增长率),则是个将大多数公司窒息的流行语.因为,据分析师Ted Friedman说,数据孤岛整指数般的蔓延-就像瘟疫一样. "在你的公司,任何时间任何地方,都有

为什么企业IT部门必须要消除数据孤岛

我们IT专业人士的任务就是,将高质量数据提供给整个企业的决策者.北卡罗来纳州阿什维尔市CIO Jonathan Feldman告诉我们,为何IT部门得想方设法防止数据消失于企业孤岛中,根本无法查看.共享或派上用场. 说到数据的重要性,炒作周期势必进入到全盛期.我们看到许多新闻标题声称数据是新的石油.我们听到分析师们谈论如何招聘到优秀的数据科学家.同行们的奚落在过道里回荡:"如果你不招聘首席数据官,肯定不是最新潮的公司之一!" 让我们在这里先澄清一点.数据对IT来说根本不是新鲜事.毕竟,

Flink运行时之统一的数据交换对象

统一的数据交换对象 在Flink的执行引擎中,流动的元素主要有两种:缓冲(Buffer)和事件(Event).Buffer主要针对用户数据交换,而Event则用于一些特殊的控制标识.但在实现时,为了在通信层统一数据交换,Flink提供了数据交换对象--BufferOrEvent.它是一个既可以表示Buffer又可以表示Event的类.上层使用者只需调用isBuffer和isEvent方法即可判断当前收到的这条数据是Buffer还是Event. 缓冲 缓冲(Buffer)是数据交换的载体,几乎所有

如何在 Docker 容器中运行支持 OData 的 JBoss 数据虚拟化 GA

大家好,我们今天来学习如何在一个 Docker 容器中运行支持 OData(译者注:Open Data Protocol,开放数据协议) 的 JBoss 数据虚拟化 6.0.0 GA(译者注:GA,General Availability,具体定义可以查看WIKI).JBoss 数据虚拟化是数据提供和集成解决方案平台,将多种分散的数据源转换为一种数据源统一对待,在正确的时间将所需数据传递给任意的应用或者用户.JBoss 数据虚拟化可以帮助我们将数据快速组合和转换为可重用的商业友好的数据模型,通过