企业使用Hadoop处理大数据的诀窍

  作为大数据技术的典范,Hadoop一直为采用大数据的企业祝福并诅咒着。Hadoop功能强大,却非常复杂,这使得很多企业都宁愿等待更容易的东西问世,再推出大数据项目。 等待已经结束。Hadoop在稳步前进,来自诸如Hortonworks和Cloudera等厂商显着的易用性增强,使得Hadoop的学习曲线已经减少了一半。企业正越来越多拥抱大数据和Hadoop,目的是从基本的ETL工作负载迁移到先进的数据分析。

  但更多人不知道的是,企业使用Hadoop处理大数据的诀窍,其实就是从小处着手。

  采用Hadoop的关键 小处开始大数据之旅小?这似乎是与Hadoop关系不大的一个词。但它完全符合大数据的现实。我们往往谈论Hadoop在PB级和ZB级数据的优势,但大部分企业其实并不具备PB级规模的问题。至少,他们现在还不清楚怎么去管理这种级别的问题。

  相反,大数据咨询公司NewVantage Partners的一项调查显示,企业首先关注的是掌握新类型的非结构化数据。Gartner证实了这一点,它指出:“许多组织发现大数据的多样性比大体量或实时性的挑战更大。”

  因此,聪明的Hadoop厂商正在修正他们的策略,帮助企业从小规模部署着手,并从那里成长。Hortonworks企业战略副总裁Shaun Connolly在接受记者采访时表示:

  “我们已经看到可重复的采用模式,从侧重于一个新的数据类型开始,并建立或增强有针对性的应用程序,围绕新的数据类型。这些新的应用程序通常由一个业务线驱动,并从以下新类型之一的数据开始:社交媒体,点击流,服务器日志,传感器和机器数据,地理定位数据和文件(文本,视频,音频等)。

  ”最终部署更多的应用和新的数据类型导致更广泛的现代化数据架构。但成功的客户开始从特定类型的数据释放价值,然后冲洗,并从那里重复他们的旅程。“对于证明Hadoop的价值,从小的、可衡量的项目启动,这是一个伟大的方式,不强迫企业在前期就吞下整个大象。这是一个聪明的策略,让强大的技术可以很容易地被采纳。

  这样一来,Hadoop正在变成人们真正想要谈论的”房间里的大象“。虽然更多的人都在谈论大数据,但实际推出重要的大数据项目的组织要少得多,Gartner强调,只有8%的企业已实际部署大数据项目,尽管64%的企业宣称他们打算这么做。这些公司看重的是Hadoop大数据项目带来的实质性增长,可实现的商业价值,而不是Hadoop的炒作。

  事实上,今天大多数大数据项目,往往以现有用例的增量改进为重点,例如,更好地了解客户的需求,使流程更加高效,进一步降低成本,或更好地检测风险。对于所有的关于大大改变一个企业的业务的谈论,大部分的大数据以及由此延伸的大多数的Hadoop的部署,重点是逐步改进,而不是彻底改变的项目。

  这是有道理的。企业首先小步骤地采用Hadoop实施可以实现的项目,然后掌握该技术,然后再做大。

  在2014年,我们将看到Hadoop被加速采用。Hortonworks的Connolly和Cloudera的Mike Olson都看到了他们的业务在2013年获得迅速的发展,且最后两个季度的发展节奏更快。这样的加速度反映了他们对营销信息的改善,已围绕企业如何更容易地从Hadoop真正获得价值,同时也表明,企业从Hadoop获得价值的门槛已经降低。

时间: 2024-10-27 01:13:14

企业使用Hadoop处理大数据的诀窍的相关文章

基于Hadoop的大数据企业前十大集合

超人气Hadoop初创公司前两名 这已经不再是什么秘密了,全球的数据正在以几何数字增长,借助这股数据浪潮在全球范围内迅速成长起来一大批Hadoop的初创型公司.作为Apache的一个开源分支Hadoop几乎已经成为了大数据的代言词.据Gartner估计,目前的Hadoop生态系统市场价值大约为77,000,000: 该研究公司预计,这一数字到2016年将迅速增加到8.13亿美元. 在Hadoop市场快速发展的大环境下,出现了大量的初创型企业来分这将近十亿美元的大馅饼. 1.Platfora 他们

《Hadoop海量数据处理:技术详解与项目实战》一1.2 Hadoop和大数据

1.2 Hadoop和大数据 Hadoop海量数据处理:技术详解与项目实战 在人们对云计算这个词汇耳熟能详之后,大数据这个词汇又在最短时间内进入大众视野.云计算对于普通人来说就像云一样,一直没有机会能够真正感受到,而大数据则更加实际,是确确实实能够改变人们生活的事物.Hadoop从某个方面来说,与大数据结合得更加紧密,它就是为大数据而生的. 1.2.1 大数据的定义 "大数据"(big data),一个看似通俗直白.简单朴实的名词,却无疑成为了时下IT界最炙手可热的名词,在全球引领了新

改变企业面貌的十种大数据发展趋势

文章讲的是改变企业面貌的十种大数据发展趋势,大数据正迈着缓慢但坚定的步伐向我们走来,并给企业业务的运营方式带来巨大变化."各行各业中都存在着不同类型的用例,"大数据咨询企业Think Big公司创始人兼CEO Ron Bodkin表示."大数据像一把钥匙,将多年来制约我们处理海量数据的能力解放了出来.这一领域中的潜在需求极为庞大."下面我们就一起探讨塑造大数据形态.扭转企业未来格局的十种发展趋势. 机器数据与物联网成为主角 虽然情绪分析与点击情况数据在大数据领域仍然

SQL Server+Hadoop 变身大数据解决方案

文章讲的是SQL Server+Hadoop 变身大数据解决方案,在数据库市场中,微软的SQL Server是最受关注的产品之一.在数据库知识网站DB-Engines每月公布的数据库流行度排行榜中,SQL Server几乎稳占第二名的位置.但从这个榜单每月的变化中也可以看出,大量NoSQL数据库的排名不断上升,已经开始威胁到传统数据库的地位. "以不变应万变"不再是大数据时代应有的策略,老牌数据库厂商在保持传统市场领先的基础上,不断拓展新市场,微软就是其中的一个代表.微软的改变最早是为

Hadoop证明大数据大有作为的10个理由

文章讲的是Hadoop证明大数据大有作为的10个理由,大数据已经成为2012年IT界最时髦的一个词,几乎每个IT人士都在谈论大数据.随着互联网科技日益成熟,各种类型的数据增长将会超越历史上任何一个时期;用户想要从这庞大的数据库中提取对自己有用的信息,就离不开大数据分析技术和工具.以下一组幻灯片截图(欲查看原幻灯片请点击文末原文地址)主要是通过分析云计算平台Hadoop,向大家展示了大数据分析将大有作为的10个理由. 1. Hadoop用户迅速增长 越来越多企业开始使用Hadoop平台处理大量数据

企业应该如何在大数据基础架构方面做出选择?

如果询问十家公司他们为了运行大数据负载需要使用怎样的基础架构,那么可能会得到十种不同的答案.现在这个领域当中几乎没有可以遵循的原则,甚至没有可以参考的最佳实践. 不管是从资源还是从专业性方面来说,大数据分析已经成为基础架构领域当中真正的难题.顾名思义,大数据分析工具所针对的数据集合,规模将会非常庞大,并且需要大量的计算.存储和网络资源来满足性能需求.但是这些大数据工具通常是由超大规模企业开发的,这些企业并不存在普通企业需要考虑的同等级安全问题和高可用性问题,而主流IT企业还没有深入了解这些工具,

Hadean完成260万美元融资,将颠覆 Spark、Hadoop等大数据框架

众所周知,利用算法分析不同规模的数据量时所需要的服务器资资源是不一样的 .许多企业在做大数据分析时,尤其是数据量非常庞大时,所需要的服务器资源仍是一笔无法避免巨大开销. 然而一家来自伦敦的公司近期声称他们创新型的解决了这一难题,他们的解决方案将在无须占用任何工程资源的前提下用算法对任意规模数据进行运算与分析. 听起来虽然不可思议,但资本还是用真金白金给出了回复.伦敦的Hadean今日完成了260万美元的种子轮投资,投资方为White Cloud Capital 和 Entrepreneur Fi

云计算时代 企业要如何迎接大数据?

本文讲的是云计算时代 企业要如何迎接大数据,随着云计算的落地,"大数据"已成为业界讨论最广泛的关键词之一,很多企业已经在寻找合适的BI工具来处理不同来源收集到的大数据,但尽管大家对于大数据的意识在提高,但只有少部分的企业如谷歌和Facebook这样的企业才能够真正利用大数据挖掘企业商业价值. 其实随着大数据时代的来临,企业对于大数据的理解不应仅限于对Apache Hadoop这样的基础技术的了解,企业应该要从基础设施角度来了解和保护企业拥有的大数据.因为在未来3到5年,我们将会看到那些

Hadoop和大数据两个世界是合并还是冲突?

在数据库格式领域将会发生一场战争吗?Hadoop和大数据这两个世界在企业界会合并还是冲突?就在Janath Manohararaj以蓝十字蓝盾协会(Blue Cross and Blue Shield Assoc.:美国第一大私人健康http://www.aliyun.com/zixun/aggregation/6173.html">保险公司集团----译者注)数据库服务团队负责人的身份作客SiliconANGLE的流动新闻平台CUBE之前,他与CUBE的搭档主持人John Furrier