思维转变:大数据不等于Hadoop

  03月17日 北京消息:IDC近期发布的《中国Hadoop MapReduce生态系统分析》报告指出,在中国,Hadoop 应用正在从互联网企业,逐渐拓展到电信,金融,政府,医疗这些传统行业。虽然目前Hadoop应用场景还是以日志存储、查询和非结构化数据处理为主,但是Hadoop技术的不断成熟以及生态系统相关产品的完善,包括Hadoop对SQL不断加强的支持,以及主流商业软件厂商对Hadoop支持的不断增强,会带动Hadoop 渗透到越来越多的应用场景中。

  2013年是中国大数据的应用落地年,越来越多的行业用户开始重视并启动大数据相关的项目。而在大数据领域的众多技术中,最受关注的是衍生于开源平台的Hadoop/Mapreduce生态系统。Hadoop 从2006 年诞生至今已经超过7 年时间。2013 年,整个生态系统变得比以往更加丰富,无论是在开源领域,商业软件厂商或是硬件厂商,都开始推出基于Hadoop 的相关产品。Hadoop之所以受到如此的关注,主要原因在于它支持用户在低价的通用硬件平台上实现对大数据集的处理和分析,在某种程度上替代了传统数据处理所需的昂贵的硬件设备和商业软件。

  IDC中国负责大数据及商业智能软件市场研究的高级研究经理潘永花说:“总体来看,中国行业用户对大数据及Hadoop 的应用依然处在初级阶段,Hadoop 技术相关专业人员比较匮乏,Hadoop生态系统还亟待完善,这些都影响了该市场的发展。Hadoop/MapReduce 生态系统的基础是开源软件,目前Hadoop 发行版依然是最稳定的主流商业模式,但现在很多软硬件厂商也在通过往自己的产品中加入Hadoop 元素或者通过Hadoop一体机实现Hadoop商业化过程,提升Hadoop相关产品的易用性。我们建议用户需要依靠目前拥有的Hadoop相关人才以及总体IT战略来决定选择开源还是商业化产品。”

  “需要强调的是,目前有不少人认为Hadoop是大数据的代名词,但是我们提示用户不要认为大数据就是Hadoop,用户要慎重选择Hadoop/MapReduce 生态系统相关产品,目前它所适用的应用场景非常有限。Hadoop/MapReduce 生态系统中各个层面的产品功能、易用性和完整性仍有待提升,应用解决方案以及相关业务和工具软件仍然有比较大的发展空间。以关系型数据库为基础的列存储,内存计算等技术的发展也在增强关系数据库的处理能力,且依然会在大数据市场上扮演重要角色。未来的大数据世界将会是多种技术和平台共存的世界,并没有哪一种技术能够完全解决大数据面临的所有问题,”潘永花补充道。

时间: 2024-09-20 14:41:21

思维转变:大数据不等于Hadoop的相关文章

IDC:大数据不等于Hadoop 中国Hadoop生态系统亟待完善

IDC近期发布的<中国Hadoop MapReduce生态系统分析>报告指出,在中国,Hadoop 应用正在从互联网企业,逐渐拓展到电信,金融,政府,医疗这些传统行业.虽然目前Hadoop应用场景还是以日志存储.查询和非结构化数据处理为主,但是Hadoop技术的不断成熟以及生态系统相关产品的完善,包括Hadoop对SQL不断加强的支持,以及主流商业软件厂商对Hadoop支持的不断增强,会带动Hadoop 渗透到越来越多的应用场景中. 2013年是中国大数据的应用落地年,越来越多的行业用户开始重

富士通黄邦瑜:大数据不等于大价值

大数据的概念很火,大数据是否真的为各行业带来大价值? 黄邦瑜,富士通(中国)信息系统有限公司副总裁兼解决方案服务战略事业部总经理表示,从麦肯锡的调查来看,大数据确实带来了价值,比如为美国的医疗行业每年带来了3000亿美金的价值,而各行各业都可以从大数据中受惠. “大数据带来大价值,但是大数据不等于大价值.黄邦瑜解释,数据只有通过技术和分析工具,显现在大家面前,数据变成信息,信息分离出有用的信息,才能产生价值.大数据也是一样,无非就是数据的量不同. 大数据就像冰山,大量的数据都隐藏在海面之下.如何

2014年大数据应用:Hadoop正处于上升期

文章讲的是2014年大数据应用:Hadoop正处于上升期,根据最新的Forrest报告,有很多公司都在努力挖掘他们拥有的大量数据,包括结构化.非结构化.半结构化以及二进制数据等,探索对数据的深入利用.下面是报告结论的其中一点: 大多数公司估计他们只分析了已有数据的12%,剩余88%还没有被充分利用.大量的数据孤岛和分析能力的缺乏是造成这种局面的主要原因.另外一个难题是如何判断数据是否有价值.尤其是在大数据时代,你必须采集并存储这些数据.一些看起来与业务无关的数据,如手机GPS数据,将来也可能是座

大数据利器:Hadoop的十大应用场景

本文讲的是大数据利器:Hadoop的十大应用场景,谁在用Hadoop?这是个问题.在大数据背景下,Apache Hadoop已经逐渐成为一种标签性,业界对于这一开源分布式技术的了解也在不断加深.但谁才是Hadoop的最大用户呢?首先想到的当然是它的"发源地",像Google这样的大型互联网搜索引擎,以及Yahoo专门的广告分析系统.也许你会认为,Hadoop平台发挥作用的领域是互联网行业,用来改善分析性能并提高扩展性.其实Hadoop的应用场景远不止这一点,深入挖掘的话你会发现Hado

在大数据里:Hadoop可能是你的救命稻草

文章讲的是在大数据里:Hadoop可能是你的救命稻草,用于数据分析的开源Hadoop架构的巨大增长是由其结构化和非结构化数据量的增长所驱动的,并且很多权威组织也预测,未来Hadoop架构还将继续增长,并需要复杂的可访问工具来从数据中提取业务和市场信息. 对于Hadoop来说,前景很乐观--开源框架旨在促进巨大数据集的分布式处理.Hadoop对企业越来越具有吸引力,因为它既可以获取大数据的好处,同时又避免了基础架构费用. 联合市场研究部门最近的一份报告表明,Hadoop市场将实现从2013年到20

知意图大数据一体机诠释Hadoop简单之美

[IT168 资讯]2012 年12月3日消息,在北京开幕的HBTC 2012 (Hadoop 与大数据技术大会 2012,原 Hadoop in China) 技术盛会上,云集众多学者.企业用户以及技术领袖.大会发扬开源精神的角度,联合国际和国内 Hadoop 及大数据应用的产学界人士和成功企业,通过技术应用审视大数据技术生态系统的现状和发展趋势,围绕大数据处理.信息检索.内容挖掘.自然语言理解.数据可视化.计算广告学.地理信息系统等相关技术主题进行探讨,充分促进 Hadoop 与大数据技术在

大数据新技能Hadoop有望高收入?

开源Apache Hadoop项目一直是个热门,这对于具备Hadoop及相关技能的IT求职者来说是个好消息. Matt Andrieux是旧金山Riviera Partners公司技术招聘部门负责人,他告诉我们对Hadoop及相关技能的需求在过去几年中呈直线上升趋势. Andrieux在接受电子邮件采访时还向我们透露:"我们的分析表明大多招聘企业是初创公司,它们正在招聘大量的工程师来帮助它们通过各种方式利用数据,让公司摆脱困境.很多公司都将它们的整个业务建立在数据收集和分析基础上,其实在任何行业

《Spark与Hadoop大数据分析》一一1.2 大数据科学以及Hadoop和Spark在其中承担的角色

1.2 大数据科学以及Hadoop和Spark在其中承担的角色 数据科学的工作体现在以下这两个方面:从数据中提取其深层次的规律性创建数据产品要从数据中提取其深层次的规律性,意味着要使用统计算法提炼出有价值的信息.数据产品则是一种软件系统,其核心功能取决于对数据的统计分析和机器学习的应用.Google AdWords或Facebook里的"你可能认识的人"就是数据产品的两个例子.1.2.1 从数据分析到数据科学的根本性转变 从数据分析到数据科学的根本转变的根源,是对更准确的预测和创建更好

《Spark与Hadoop大数据分析》——1.2 大数据科学以及Hadoop和Spark在其中承担的角色

1.2 大数据科学以及Hadoop和Spark在其中承担的角色 数据科学的工作体现在以下这两个方面: 要从数据中提取其深层次的规律性,意味着要使用统计算法提炼出有价值的信息.数据产品则是一种软件系统,其核心功能取决于对数据的统计分析和机器学习的应用.Google AdWords或Facebook里的"你可能认识的人"就是数据产品的两个例子. 1.2.1 从数据分析到数据科学的根本性转变 从数据分析到数据科学的根本转变的根源,是对更准确的预测和创建更好的数据产品需求的不断增长. 让我们来