IDC:大数据不等于Hadoop 中国Hadoop生态系统亟待完善

  IDC近期发布的《中国Hadoop MapReduce生态系统分析》报告指出,在中国,Hadoop 应用正在从互联网企业,逐渐拓展到电信,金融,政府,医疗这些传统行业。虽然目前Hadoop应用场景还是以日志存储、查询和非结构化数据处理为主,但是Hadoop技术的不断成熟以及生态系统相关产品的完善,包括Hadoop对SQL不断加强的支持,以及主流商业软件厂商对Hadoop支持的不断增强,会带动Hadoop 渗透到越来越多的应用场景中。

  2013年是中国大数据的应用落地年,越来越多的行业用户开始重视并启动大数据相关的项目。而在大数据领域的众多技术中,最受关注的是衍生于开源平台的Hadoop/Mapreduce生态系统。Hadoop 从2006 年诞生至今已经超过7 年时间。2013 年,整个生态系统变得比以往更加丰富,无论是在开源领域,商业软件厂商或是硬件厂商,都开始推出基于Hadoop 的相关产品。Hadoop之所以受到如此的关注,主要原因在于它支持用户在低价的通用硬件平台上实现对大数据集的处理和分析,在某种程度上替代了传统数据处理所需的昂贵的硬件设备和商业软件。

  IDC中国负责大数据及商业智能软件市场研究的高级研究经理潘永花说:“总体来看,中国行业用户对大数据及Hadoop 的应用依然处在初级阶段,Hadoop 技术相关专业人员比较匮乏,Hadoop生态系统还亟待完善,这些都影响了该市场的发展。Hadoop/MapReduce 生态系统的基础是开源软件,目前Hadoop 发行版依然是最稳定的主流商业模式,但现在很多软硬件厂商也在通过往自己的产品中加入Hadoop 元素或者通过Hadoop一体机实现Hadoop商业化过程,提升Hadoop相关产品的易用性。我们建议用户需要依靠目前拥有的Hadoop相关人才以及总体IT战略来决定选择开源还是商业化产品。”

  “需要强调的是,目前有不少人认为Hadoop是大数据的代名词,但是我们提示用户不要认为大数据就是Hadoop,用户要慎重选择Hadoop/MapReduce 生态系统相关产品,目前它所适用的应用场景非常有限。Hadoop/MapReduce 生态系统中各个层面的产品功能、易用性和完整性仍有待提升,应用解决方案以及相关业务和工具软件仍然有比较大的发展空间。以关系型数据库为基础的列存储,内存计算等技术的发展也在增强关系数据库的处理能力,且依然会在大数据市场上扮演重要角色。未来的大数据世界将会是多种技术和平台共存的世界,并没有哪一种技术能够完全解决大数据面临的所有问题,”潘永花补充道。

时间: 2024-09-20 12:04:36

IDC:大数据不等于Hadoop 中国Hadoop生态系统亟待完善的相关文章

大数据来袭 传统数据库的Hadoop梦想

大数据时代已经来临,并悄悄的影响着我们的生活.根据IDC最近一项研究显示,在Facebook上每20分钟就有100万个新链接被分享,1000万条用户评论被发布.Facebook和其他所有互联网网站.互联网应用,已经逐渐变成了整个数据采集.分析.处理.增值的数据架构. 在中国,社交网络同样如火如荼.新浪副总裁王高飞就曾表示,新浪微博的注册用户已超过3亿,用户平均每天发布超过1亿条微博内容,相当于每10个中国人里面,就会有一人每天发布一条微博.每位用户的平均在线时长为60分钟,活跃用户中有60%通过

《Hadoop与大数据挖掘》——第2章 大数据存储与运算利器—Hadoop 2.1 Hadoop概述

第2章 大数据存储与运算利器-Hadoop 本章主要介绍了Hadoop框架的概念.架构.组件.生态系统以及Hadoop相关编程,特别是针对Hadoop组件HDFS.MapReduce.YARN,Hadoop MapReduce编程做了较详细的介绍.在介绍各个知识点的同时,结合动手实践章节,帮助读者理解对应的内容. 2.1 Hadoop概述 2.1.1 Hadoop简介 随着现代社会的发展,各种信息数据存量与增量都非常大,很多情况下需要我们能够对TB级,甚至PB级数据集进行存储和快速分析,然而单机

大数据热门职业薪酬榜 Hadoop人才居首

文章讲的是大数据热门职业薪酬榜 Hadoop人才居首,随着越来越多企业开始投身于大数据技术的革新洪流,对于IT专业人士的市场需求也水涨船高.时至今日,具备收集.整理.分析以及构建不同来源数据技能的人才正迎来自己职业生涯的上升期. 在当下的数字化时代,数据量的丰富程度远远超过历史上的任何时期,很多时候这种丰富程度甚至成为一种沉重的负担.企业开始将大量资源投入到云技术.移动技术以及社交媒体当中.结合这些新兴领域,再加上企业自身运营所必然产生的信息,我们发现目前需要收集的数据总量单单用"爆炸式&quo

富士通黄邦瑜:大数据不等于大价值

大数据的概念很火,大数据是否真的为各行业带来大价值? 黄邦瑜,富士通(中国)信息系统有限公司副总裁兼解决方案服务战略事业部总经理表示,从麦肯锡的调查来看,大数据确实带来了价值,比如为美国的医疗行业每年带来了3000亿美金的价值,而各行各业都可以从大数据中受惠. “大数据带来大价值,但是大数据不等于大价值.黄邦瑜解释,数据只有通过技术和分析工具,显现在大家面前,数据变成信息,信息分离出有用的信息,才能产生价值.大数据也是一样,无非就是数据的量不同. 大数据就像冰山,大量的数据都隐藏在海面之下.如何

2016大数据企业排行榜揭示中国数据发展

文章讲的是2016大数据企业排行榜揭示中国数据发展,7月14日,首席数据官联盟在京发布了2016年<中国大数据企业排行榜>.据悉,本次排行榜由北京大学电子政务研究院.中国新一代IT产业推进联盟共同指导,由首席数据官联盟专家组依据大数据企业评价指标体系对国内大数据企业进行综合评定而成. ▲现场出席专家以及企业代表合影 据了解,此次<中国大数据企业排行榜>得到业界的大力支持,发布会由中华网.中关村智能硬件产业联盟.北京优智活孵化器协办.机械工业信息中心处长白涌如.北京大学电子政务研究院

大数据江湖谱:中国大数据服务商Top100榜单

进入2014年,大数据正从红遍媒体的概念炒作逐渐落地为生财的产业.如雨后春笋冒出的大数据服务商,在中国市场上展开了激烈角逐.从"中国大数据服务商综合服务水平TOP100排行榜"(以下简称榜单)中,已经可以隐约看出中国"大数据云图"的雏形. 中美大数据云图比较 相比美国同类榜单,高居首位的10Gen仅列第43,而大数据股明星Tableau仅列第45,而Marketo干脆没上榜.这让我们注意到榜单标的服务范围是中国,而非美国. 我去年到美国与<大数据云图>的

【波士顿咨询】重磅报告:大数据改良与改革中国保险业

2015年8月,波士顿咨询公司与中国保险行业协会发布了题为<互联网+时代,大数据改良与改革中国保险业>的报告,该报告转自<转型与发展:从保险大国到保险强国2015>,原文长50页.大数据文摘节选部分内容,带大家先睹为快. 互联网+时代,大数据改良与改革中国保险业 1.1 大数据为器,推动保险行业转型与变革 全球范围内,保险行业正处于科技推动变革的阶段.以互联网.移动.社交网络.云计算和大数据为代表的数字化技术,正在加速影响着保险行业的日常运作,在所有的新技术中,大数据对保险行业的影

思维转变:大数据不等于Hadoop

03月17日 北京消息:IDC近期发布的<中国Hadoop MapReduce生态系统分析>报告指出,在中国,Hadoop 应用正在从互联网企业,逐渐拓展到电信,金融,政府,医疗这些传统行业.虽然目前Hadoop应用场景还是以日志存储.查询和非结构化数据处理为主,但是Hadoop技术的不断成熟以及生态系统相关产品的完善,包括Hadoop对SQL不断加强的支持,以及主流商业软件厂商对Hadoop支持的不断增强,会带动Hadoop 渗透到越来越多的应用场景中. 2013年是中国大数据的应用落地年,

一文看懂大数据的技术生态圈,Hadoop,hive,spark都有了

大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的.你可以把它比作一个厨房所以需要的各种工具.锅碗瓢盆,各有各的用处,互相之间又有重合.你可以用汤锅直接当碗吃饭喝汤,你可以用小刀或者刨子去皮.但是每个工具有自己的特性,虽然奇怪的组合也能工作,但是未必是最佳选择. 大数据,首先你要能存的下大数据. 传统的文件系统是单机的,不能横跨不同的机器.HDFS(Hadoop Distributed FileSystem)的设计本质上是为了大量的数据