Hadoop可能已经达到预期的成熟度

五年前,Hadoop用可以解决所有大数据[注]难题的身份杀入主流市场。如今尘埃已经落定,现在是时候对Hadoop展开更切合实际的评估了。

我们现在正处于21世纪第二个十年的正中间。当大数据潮流从五年前开始兴起时,Hadoop将引领未来这一看法得到了普遍认可。Hadoop市场从那时开始的增长显示,这一共识并没有被削弱。持续不懈的宣传至少为Hadoop的部署与创新打下了良好的基础。

如果所有人都非常清楚Hadoop的重要性,那么我们是否还有必要在大数据领域中继续宣传Hadoop将是“下一个大事件”呢?Hadoop是否早已过了其发展的拐点,其成熟的时间点是否正在快速到来?当所有的成熟标志在细分市场中出现后,我们应该降低它们的市场营销力度。在大数据分析市场的份额方面,Hadoop目前可能已经达到了之前的预期(尽管整个市场可能还会持续增长)。

为了确定Hadoop是否已经到达了这一拐点,让我们来评估一下Hadoop目前已经发展到了什么程度,以及未来可能会如何发展。

创业活动是成长型市场的明显标志。创业活动的下降也是成熟的强烈信号。在经历了初期的创业活动井喷后,Hadoop平台、工具和应用厂商已经被人们所熟悉。例如,在近期《InformationWeek》的市场概述中被提及的每一家厂商都是在三、四年前加入这一领域的,当时我还是市场研究机构Forrester的Hadoop分析师。这是成熟市场的一个显著标志。

Hadoop的另一个成熟标志是,其主要的需求推动因素实际上一直保持着稳定,这反映出其市场一直没有变化。市场调查的结果也反映出,用户部署Hadoop主要是用于非结构化数据分析、预测性客户分析、情感分析等工作。这与我在2011年对Hadoop市场所做的初步研究没有什么明显的不同。

细分市场成熟的另一个标志还在于,整个行业在年复一年地重复相同的主题,并将其视为最有效的解决方案。例如,大数据博客仍然在讨论“SQL是否在Hadoop生态圈中拥有未来?”等早有定论的问题。答案是肯定的,证据是上述调查中所罗列的每家主要厂商都提供了一系列供备选的SQL访问/分析选项。

关于“重复相同的旧主题”这一趋势,这也是Hadoop市场范围不清晰的毛病。我在2014年4月份曾在一篇专栏文章中指出,Hadoop技术仍然没有明确的界限(相较于NoSQL,以及其他的大数据方案),而这一点我在三年前供职于Forrester时就已经多次提到过了。时至今日,Hadoop业界的“身份危机”在很大程度上源自其没有实现标准化,而且没有统一Hadoop是什么,以及未来的发展前景。

如果认真审视目前Apache软件基金会给Hadoop作出的定义,我们就会发现,该项目仍然像一个大杂烩,而非一个明确的架构。例如,最近加入到Hadoop中的Spark看起来仍然太过随意,且其中仍然存在着与Cassandra千丝万缕的联系。业界还没有人真正将Spark作为Hadoop的竞争对手,而非其组成部分。与之形成鲜明对比的是,Cassandra并不是最热门的开源实时大数据社区,其持续增长的势头似乎也已经开始显著衰退。

当讨论越来越多地集中在主流用户中微不足道的部署率时(+本站微信networkworldweixin),那么就意味着,这一技术的目标市场已经开始饱和。以下才是这份调查报告的核心内容:

《InformationWeek》的数据表明,目前列车尚没有真正驶离车站:只有4%的企业在广泛使用Hadoop,而18%的企业表示,仅在有限的范围内使用了Hadoop……与2014年3%的企业开始广泛使用和12%的企业仅在有限的范围内使用Hadoop相比,2015年这两项数据均有所提升。另有20%企业客户有使用Hadoop的计划,不过仍有58%的受访企业表示,尚未计划使用Hadoop。

如果大家拥有分析行业的从业经历,就会发现这样的状况有些似曾相识的感觉。二十多年前,BI(商业智能)市场曾经作为独立业务拥有自己的一片天地,但其在主流知识型员工中的采用率却一直表现低迷。

也许BI或Hadoop,以及其他大数据技术项目,都注定无法像智能手机那样被市场所广泛接受。但这并不意味着Hadoop无法在被明确定义的特定市场之内,发展成为一个极为重要、且盈利可观的细分市场。毕竟没有什么东西能够阻碍一个成年人在步入老年的过程中,逐渐积累到财富与名望。

本文作者:佚名

来源:51CTO

时间: 2024-09-21 19:39:19

Hadoop可能已经达到预期的成熟度的相关文章

Docker生态会重蹈Hadoop的覆辙吗?

2016-12-02 来源:36大数据 Docker的兴起和Hadoop何其相似 2015年说是Docker之年不为过,Docker热度高涨,IT从业人员要是说自己不知道Docker都不好意说自己是做IT的.2016年开始容器管理.集群调度成为热点,K8s开始成为热点.但这一幕和2013年的Hadoop大数据何其相似,当年你要说自己不知道大数据,或是知道大数据不知道Hadoop,那必然招来鄙视的眼光.云计算喊了这么久,从来没有像Docker这么火过,究其原因不外乎两条: 开发者能够用Docker

应用性能管理成熟度模型

在企业中证明APM 在企业IT机构中工作过的人都会发现,一些好的工具很频繁地遭遇废弃.有时是因为工具本身 没有满足原本的预期或需求:有时是因为该工具的倡导者离开了机构:又或者仅仅是因为在供应商被收购或产品被废弃之后 ,技术因此而变得过时.对于应用性能管理(APM)方面的工具来说也会面临这样的问题.对于该问题,并没有终极的解决 方案.但是,如果你的工作正好是采购像APM这样的工具的话,这里有一些可以供你参考遵循的步骤,可以尽可能避免发生 你所采购的软件最终被束之高阁的窘况.以下是我在作为监控架构师

如何高效的阅读hadoop源代码?

这篇文章的内容是从知乎的帖子上摘抄下来的,是董西成的经验之作,虽然我还没有来的及通读源码,但觉得这经验有些意义就转载来与大家共享. ============ 首先,不得不说,hadoop发展到现在这个阶段,代码已经变得非常庞大臃肿,如果你直接阅读最新版本的源代码,难度比较大,需要足够的耐心和时间,所以,如果你觉得认真一次,认真阅读一次hadoop源代码,一定要有足够的心理准备和时间预期. 其次,需要注意,阅读Hadoop源代码的效率,因人而异,如果你有足够的分布式系统知识储备,看过类似的系统,则

Gartner发布2017云安全成熟度曲线

云的快速普及,正在引发人们对确保云计算环境中数据.应用和工作负载安全性的兴趣.Gartner发布的云安全技术成熟度曲线(Hype Cycle for Cloud Security)帮助安全专业人士了解哪些技术已经为主流应用做好了准备,哪些技术仍然远离大多数企业组织的产品环境部署. Gartner研究副总裁Jay Heiser表示:"安全仍然是不愿意使用公有云最常见的原因.然而矛盾的是,已经在使用公有云的组织认为安全是最主要的好处之一." 迄今为止,没有证据证明主流云服务提供商的防攻击性

Hadoop存储与计算分离实践

本文PPT来自阿里云E-MapReduce团队的余根茂于10月16日在2016年杭州云栖大会上发表的<Hadoop存储于计算分离实践>. Hadoop部署一般可大致分为传统集群部署和云上集群部署.具体而言,对于传统集群部署,存储和计算是重点,计算能力加上存储能力大致等同于这个集群的能力.传统集群往往包含很多数据"中心",并以集群混部的方式部署.在理想情况下,一个集群系统往往希望产生更少的数据迁移,并且达到更高的资源利用率.然而在现实中,当带宽逐渐不再是稀缺资源,磁盘不在是承

【转载】hadoop/hbase 搭建

本文转载自http://shift-alt-ctrl.iteye.com/blog/2073581    因为工作需要,我们使用hbase + hadoop存储基于用户内容的数据(UGC),本文将描述如何逐步搭建此平台,仅作参考.   1. 环境     操作系统:Red hat 6.3,300G硬盘,双核CPU     JAVA:JDK1.6                         HBASE:hbase-0.98.1     Hadoop:hadoop-2.2.0       现在我

Hadoop工作机制

可以只用一行代码来运行MapReduce作业:JobClient.runJon(conf),Job作业运行时参与的四个实体:      1.JobClient 写代码,配置作业,提交作业.      2.JobTracker:初始化作业,分配作业,协调作业运行.这是一个java程序,主类是JobTracker.      3.TaskTracker:运行作业划分后的任务,即分配数据分配上执行Map或Reduce任务.      4.HDFS:保存作业数据.配置信息等,保存作业结果. Map/Re

Hadoop专业解决方案-第1章 大数据和Hadoop生态圈

一.前言: 非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,经过两周的努力,已经有啦初步的成果,目前第1章 大数据和Hadoop生态圈小组已经翻译完成,在此对:译者:贾艳成 QQ:496830205 表示感谢. 二.意见征集: 本章节由<Hadoop专业解决方案群:313702010>翻译小组完成,为小组校验稿,已经通过小组内部校验通过,特此面向网络征集意见,如果对本章节内容有任何异议,请在评论中加以说明,说明时,请标明行号,也可以以修订的方式,发送

Hadoop的过去、现在和未来

Hadoop是目前大数据分析领域中应用最广泛的一种分布式架构,而经过相当长时间的发展,Hadoop在功能上也越来越成熟.不过,在这个星球上,你找不到拥有11年Hadoop经验的人.因为目前在Hadoop领域经验最丰富的人是Doug Cutting,他在Hadoop方面拥有的经验是10年零7个月.而这位Doug Cutting正是Hadoop之父,Cloudera公司首席架构师. 作为处理海量数据最常用的方法,Hadoop的核心是Map和Reduce,也就是将一个庞大的任务进行分解,然后再将结果进