预计未来十年,数字宇宙将以每年约40%的速度增长,这是个惊人的数字,更重要的是,数字宇宙中囊括了绝大多数企业业务的数据需求。在这种环境下,通过使用数据分析提高竞争力,企业需要有能力满足“信息一代”的需求,这对企业来说至关重要。从帮助预测购买行为到驱动创新项目以增强客户服务或提高生产力,数据湖能整理、存储并分析海量数据,拥有变革业务的巨大能量。分析能力正从企业的“愿望清单”中移除,转而成为必需。
在这种环境下,通过使用数据分析提高竞争力,企业需要有能力满足“信息一代”的需求,这对企业来说至关重要。从帮助预测购买行为到驱动创新项目以增强客户服务或提高生产力,数据湖能整理、存储并分析海量数据,拥有变革业务的巨大能量。分析能力正从企业的“愿望清单”中移除,转而成为必需。
然而,许多组织在早期便遭遇阻力。近半数(49%)的企业知道他们能够从信息和数据中获得更有价值的洞察,但不知道怎么做。
其中一个主要原因是,在最佳实践和大数据项目的业务目标方面,IT和业务线并不总是一致的。虽然一些公司可能在利用基本的数据分析进行试验(而有些公司甚至还没开始),很多还没准备好面对下一个阶段,进入这个阶段,分析将变得复杂和深入得多。实际上,现在,只有19%的企业拥有随时在线的生产力,并能够跨组织范围实时运营。近三分之一的企业甚至还没有开始这样做。
那么,企业什么时候应该扩大规模,投资数据湖?下面四个信号可供参考:
1.运营复杂:在一个“前数据湖”环境中,如果企业正试图扩大基础设施规模,但没有任何额外的全职人工管理支持选项,其数据需求就很有可能超过管理能力。传统的Tier 1数据资源并不总是池化的,这样就为单一管理者可应对的存储空间造成了限制,同样,在构建更灵活的通用存储资源(例如数据湖)方面,管理者也面临难题。
2.运营成本:当公司发现,虽然正试图减少运营成本,但业务对IT的需求却在持续增长时,就是时候该寻求新的办法了。全职人工也会带来管理IT资源的运营成本上升。为了有效应对这些需求,企业或者需要更多人力资源,或者需要投资额外的第三方,支持监控、管理、部署和改善系统。与简单地增加员工人数相比,第二种方法扩展了一个数量级甚至更多。
3.生产压力:另外一个暗示数据湖需求的关键指标是,现有的分析应用正为业务生产系统带来压力。实时分析可能是耗费大量资源的,无论是想通过视频分析,从大量高清视频流中获得洞察,还是研究社交内容瀑布流。这些流程是需要专用资源的,这样,尝试使用生产系统的用户才不会损失性能。数据湖是确保实时分析能够以最佳性能运行的关键。
4.多协议分析:企业需要数据湖,一个最终的关键信号是,数据科学家正在大量不同的Hadoop发行版上运行应用,并且,需要将他们的数据与Hadoop挂钩。未来,随着各种各样的分析实验不断深入,业务线需要IT有能力支持多种协议。企业也需要以数据湖策略为重要依据,进行整体的合理规划。
现在,并不是每家公司都已经做好准备部署数据分析,但大多数会,至少是需要开始计划,否则,就会面临落后于竞争对手的风险。最终,所有公司都需要拥抱数据分析,那些拒绝改变的公司将逐渐褪色,变得默默无闻。
数据湖近在眼前,有人持怀疑的态度,有人热情拥抱。怀疑者认为,数据湖无非另一种将全部数据整合至单一位置的存储形式,支持者认为,数据湖不仅预示着前所未见的存储效率,还让分析成为可能,让每个组织都可用。
暂且搁置争议,让我们看看数据湖带来的变化,以及这些变化对今天的世界意味着什么,从IT直至消费者。
打破数据孤岛
长期以来,数据孤岛一直是存储应用的标准,但是这些系统是运营效率低下的,并且会限制从相关数据中获得更佳洞察的能力。
节约成本也是一大驱动力。除了管理复杂性,孤岛系统还需要多种授权,服务器和其他费用,而数据湖可以经济高效的方式,由单一基础设施提供支持。
随着分析变得更快速、更复杂,组织也需要以同样的方式进化,以探索所有可能性。数据不再单单是数据本身,借助所有组织化数据构建的完整图景,分析解释能够以前所未有的方式,打开新的大门。
利用实时分析
数据收集和分析正变得越来越快。像信用卡欺诈预警分析、股票分析这样的应用场景,需要在动作发生后数秒内就实现。不过,实时分析并不都是需要100%立刻马上就实现的。一些数据(如月销售数据、季度财务数据或年度员工表现数据)只需以特定的时间间隔存储并分析。组织需要有能力构建数据湖,为分析提供最大的灵活度。
现在,企业产生的数据比以往任何时候都更多。这种情况为企业带来了独特的问题:需要装备自己分析这些数据,而不仅仅是存储。数据湖与Hadoop平台一道,提供了增加数据价值所需的自动化和透明度。
例如,物联网就是一个产生数据的怪兽,同时,也是一个持续不断追加销售的机会,假设组织能够实时提供有吸引力的产品。确实,广告主正站在利用数据湖获得消费者洞察的趋势前沿,在此基础上,设法将洞察转化成销售。
这种情形下,“实时”意味着:数据湖能够大幅减少分析的价值转化时间,从数月或数星期到几分钟内完成。
新业务模式兴起
数据湖不只是一个内部工具,事实上,数据湖正帮助催生新的业务模式,例如分析即服务(Analytics-as-a-Service),通过提供对数据湖的访问权限,让用户进行自服务分析。
既然分析即服务不是面向所有用户的,那么,它能带来什么好处?外包的基础设施和自动化使分析成本骤降。这意味着公司可以尝试新东西,并可根据客户获取和经验实时调整,无需很多预算。
对那些正寻求外包服务的公司来说,有能力存储、管理并保护数据,作为分析即服务部分内容的服务供应商是一个有用的途径。
知识型员工则带来不同的价值,随着手动操作的部分被移除或显著减少,基于分析结果,他们可将精力更多地用于与业务单元的战略性结合上。对于早期采用来说,分析即服务是一个有效的路径,在零售、公用事业、体育俱乐部等行业处于领先地位。
显然,想要开始获得价值,企业不一定非得自建数据湖。
目前,从整体上看,数据湖应用尚处于早期阶段,但全球化部署正在不断增长。对于那些还在运行数据孤岛的公司来说,或许是时候该开始尝试实时分析了。
本文转自d1net(转载)