采用Hadoop的关键 小处开始大数据之旅

  作为大数据技术的典范,Hadoop一直为采用大数据的企业祝福并诅咒着。Hadoop功能强大,却非常复杂,这使得很多企业都宁愿等待更容易的东西问世,再推出大数据项目。

  等待已经结束。Hadoop在稳步前进,来自诸如Hortonworks和Cloudera等厂商显着的
易用性增强,使得Hadoop的学习曲线已经减少了一半。企业正越来越多拥抱大数据和Hadoop,目的是从基本的ETL工作负载迁移到先进的数据分析。

  但更多人不知道的是,企业使用Hadoop处理大数据的诀窍,
其实就是从小处着手。

  小?这似乎是与Hadoop关系不大的一个词。但它完全符合大数据的现实。我们往往谈论Hadoop在PB级和ZB级数据的优势,但大部分企业其实并不
具备PB级规模的问题。至少,他们现在还不清楚怎么去管理这种级别的问题。

  相反,大数据咨询公司NewVantage Partners的一项调查显示,企业
首先关注的是掌握新类型的非结构化数据。Gartner证实了这一点,它指出:“许多组织发现大数据的多样性比大体量或实时性的挑战更大。”

  因此,聪明的Hadoop厂商正在修正他们的策略,帮助企业从小规模部署着手,并从那里成长。Hortonworks企业战略副总裁Shaun Connolly在接受记者采访时表示:

  “我们已经看到可重复的采用模式,从侧重于一个新的数据类型开始,并建立或增强有针对性的应用程序,围绕新的数据类型。这些新的应用程序通常由一个业务线驱动,并从以下新类型之一的数据开始:社交媒体,点击流,服务器日志,
传感器和机器数据,地理定位数据和文件(文本,视频,音频等)。

  “最终部署更多的应用和新的数据类型导致更广泛的现代化数据架构。但成功的客户开始从特定类型的数据释放价值,然后冲洗,并从那里重复他们的旅程。”

  对于证明Hadoop的价值,从小的、可衡量的项目启动,这是一个伟大的方式,不强迫企业在
前期就吞下整个大象。这是一个聪明的策略,让强大的技术可以很容易地被采纳。

  这样一来,Hadoop正在变成人们真正想要谈论的“房间里的大象”。虽然更多的人都在谈论大数据,但实际推出重要的大数据项目的组织要少得多,Gartner强调,只有8%的企业已实际部署大数据项目,尽管64%的企业宣称他们打算这么做。这些公司看重的是Hadoop大数据项目带来的实质性增长,可实现的商业价值,而不是Hadoop的炒作。

  事实上,今天大多数大数据项目,往往以现有用例的增量改进为
重点,例如,更好地了解客户的需求,使流程更加高效,进一步降
低成本,或更好地检测风险。对于所有的关于大大改变一个企业的业务的谈论,大部分的大数据以及由此延伸的大多数的Hadoop的部署,重点是逐步改进,而不是彻底改变的项目。

  这是有道理的。企业首先小步骤地采用Hadoop实施可以实现的项目,然后掌握该技术,然后再做大。

  在
2014年,我们将看到Hadoop被加速采用。Hortonworks的Connolly和Cloudera的Mike Olson都看到了他们的业务在2013年获得迅速的发展,且最后两个季度的发展节奏更快。这样的加速度反映了他们对营销信息的
改善,已围绕企业如何更容易地从Hadoop真正获得价值,同时也表明,企业从Hadoop获得价值的门槛已经降低。

  最后再次重复,Hadoop越专注于小规模部署,最终用于大规模部署的可能性越大。

时间: 2024-08-01 11:47:10

采用Hadoop的关键 小处开始大数据之旅的相关文章

Hadoop的关键:小处开始大数据之旅

作为大数据技术的典范,Hadoop一直为采用大数据的企业祝福并诅咒着.Hadoop功能强大,却非常复杂,这使得很多企业都宁愿等待更容易的东西问世,再推出大数据项目. 等待已经结束.Hadoop在稳步前进,来自诸如Hortonworks和Cloudera等厂商显着的 易用性增强,使得Hadoop的学习曲线已经减少了一半.企业正越来越多拥抱大数据和Hadoop,目的是从基本的ETL工作负载迁移到先进的数据分析. 但更多人不知道的是,企业使用Hadoop处理大数据的诀窍, 其实就是从小处着手. 采用H

Hadoop挨批!专家认为大数据让研究困难

1 统计显示Hadoop挨批评 大数据这个概念由来已久, 也一直引人关注.很多人也认为大数据是大多数商业和科学问题的答案. 调查结果统计(图:paradigm4.com) 但是最新的一项http://www.aliyun.com/zixun/aggregation/32268.html">调查显示的结果和人们的心理预期并不相符.根据数据库专家Paradigm4的数据显示,近四分之三的科学家认为大数据使得他们的研究变得更加困难. 调查结果统计(图:paradigm4.com) 一项针对111

十八款Hadoop工具帮你驯服大数据作业

文章讲的是十八款Hadoop工具帮你驯服大数据作业,Hadoop已经通过自身的蓬勃发展证明,它不仅仅是一套用于将工作内容传播到计算机群组当中的小型堆栈--不,这与它的潜能相比简直微不足道.这套核心的价值已经被广泛证实,目前大量项目如雨后春笋般围绕它建立起来.有些项目负责数据管理.有些负责流程监控.还有一些则提供先进的数据存储机制. Hadoop业界正在迅速发展,从业企业拿出的解决方案也多种多样,其中包括提供技术支持.在托管集群中提供按时租用服务.为这套开源核心开发先进的功能强化或者将自有工具添加

超越 Hadoop,Luigi 打通云端大数据管道

Liugi数据管线的可视化管理图 新的大数据开源技术和工具往往来自互联网公司,除了Facebook.Google和Twitter这样的巨头外,一些甚至是你想不到的互联网公司,例如Netflix和Spotify(音乐流媒体服务)也会贡献一些优秀的大数据分析开源工具(Suro和Luigi). 近日创业公司Mortar就将Spotify开发的开源大数据工具Luigi搬上云端,在亚马逊云上提供复杂的,涉及大量工具和数据库的大数据流水线处理服务,不论是否使用Hadoop,用户都可以用Luigi管理复杂的大

趋势预测:Hadoop将无法独自处理大数据

文章讲的是趋势预测:Hadoop将无法独自处理大数据,大数据的世界正在稳步发展壮大.随着数据数量和种类的不断膨胀,读者都想知道接下来会发生什么.Sriram Mohan博士是罗斯豪曼理工学院计算机科学和软件工程的副教授.同时他还兼任着Avalon咨询公司大数据解决方案高级顾问一职.他融汇理论与实践于一身,他绝对是回答"2014年企业大数据发展趋势"的正确人选.下面是他的一些独到见解. Hadoop将无法独自处理大数据 Sriram说,"Hadoop和MapReduce模式绝对

未来预测:Hadoop将无法独自处理大数据

Hadoop将无法独自处理大数据 Sriram说,"Hadoop和MapReduce模式绝对是解决大数据问题的方式之一.但你需要记住的是,按照目前的情况来看,Hadoop仅仅是对于批处理来说比较好.相信很快,我们同时需要能够实时处理这些数据."作为一名Hadoop顾问的Sriram并不是说这种无处不在的平台速度缓慢.使用这样一个强大的框架,大量数据可能在一分钟之内就处理完,但是那并不总是足够好.如何解决这个问题呢? Hortonworks公司战略副总裁Shaun Connolly指出,

Hadoop峰会:南航航空大数据技术应用

文章讲的是Hadoop峰会:南航航空大数据技术应用,2013年11月22-23日,作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会,2013 Hadoop中国技术峰会(China Hadoop Summit 2013)于北京福朋喜来登集团酒店隆重举行.来自国内外各行业领域的近千名CIO.CTO.架构师.IT经理.咨询顾问.工程师.Hadoop技术爱好者,以及从事Hadoop研究与推广的IT厂商和技术专家将共襄盛举. Hadoop中国技术峰会由China Hadoop Summit专家

以务实的态度启动大数据之旅 充分利用仓库中的大数据

互联网巨头 Google 和 Facebook 相继通过管理和分析大数据实现了巨额价值,这也促使首席信息官们不禁发问,新兴技术能否在自身企业内创造辉煌成果.行业分析师预计大数据将以飞快的速度增长,这也在一定程度上鼓励了这种想法.Wikibon 预计,到 2015 年大数据市场将由 2012 年的 50 亿美元直线跃升超过 300 亿美元,到 2017 年更将高达 534 亿美元(您可以在此处查看免费报告).IDC 则较为保守,他们预计到 2015 年大数据市场将达 169 亿美元.许多 IBM

Hadoop+Spark+MongoDB+MySQL+C#大数据开发项目最佳实践

随着IT技术的飞速发展,各行各业都已在广泛尝试使用大数据技术提供更稳健和优质的服务.目前,医疗IT系统收集了大量极具价值的数据,但这些历史医疗数据并没有发挥出其应有的价值.为此,本文拟利用医院现有的历史数据,挖掘出有价值的基于统计学的医学规则.知识,并基于这些信息构建专业的临床知识库,提供诊断.处方.用药推荐功能,基于强大的关联推荐能力,极大地提高医疗服务质量,减轻医疗人员的工作强度.   二.Hadoop&Spark  目前大数据处理领域的框架有很多.   从计算的角度上看,主要有MapRed