大数据的下一个五年:Hadoop将推动数据平民化

美国联合市场研究(Allied Market Research)机构近日预测,到2020年,Hadoop的市场价值会超过500亿。Hadoop技术发展至今,走过了近九个年头,乘着大数据的东风,它以低廉的存储和快速的处理能力迅速在中小企业蔓延开来。而据联合市场研究预测,五年后,Hadoop会得到更广泛的部署,不止局限在中小企业。

几年前,还有评论人士称,Hadoop只能应用于企业10%的数据。但今日一份名为《2014年数据库技术现状调查》的数据显示,13%的受访者已经将Hadoop应用于产品生产和测试。未来,Hadoop有望在企业各个角落得到应用。而在性能和用途都有显著增长的同时,Hadoop的部署成本仍然会保持相对低廉。

数据平民化

随着大数据的快速发展,未来五年内,数据量和数据类型都会快速增长,那时,PB级的数据量已经不能被称为大数据了。随着数据的猛增,企业对数据分析和存储能力的需求必然大幅上升。相对于传统数据库和数据仓库技术,Hadoop的优势在于将数据分析和存储平民化。不懂技术的业务人员访问和分析数据将成为趋势。

照目前的创新速度和较低的准入门槛来看,未来五年会有更多的中小型企业持有自己的Hadoop架构。同时,Hadoop的发展会催生一大批初创企业加入到企业级IT领域,虽然短时间内新技术初创企业还不足以影响大的市场格局,但从收购和价值评估中我们可以看到,新兴技术企业的市场价值已经越来越大。

安全性和实时性

物联网作为IT发展的下一个技术热点,会成为变革IT的新力量。传统的数据库技术很难应对大量的传感器数据,而Hadoop将脱颖而出,承担更多的存储和分析功能。

未来五年里,Hadoop会逐渐向企业日常运营必不可少的系统发展。而要实现这一点,其实时分析的能力和安全性将成为掣肘。现在,我们已经看到Kerberos 和一些MapReduce组件用于保障Hadoop的安全性,Spark和Storm等工具正在为Hadoop加速。未来Hadoop的发展也需要这两方面能力的成熟。

本文作者:陈洪钰

来源:51CTO

时间: 2024-09-20 01:11:12

大数据的下一个五年:Hadoop将推动数据平民化的相关文章

自动洞察:大数据的下一个重大转折

为了跟随大数据的发展以及提高我们对信息的使用,我们需要具有洞察力的应用,可以在连接洞察与操作的时候快速且低廉地提取相关性. 我坚持认为具有洞察力的应用是帮助企业高效探究大数据的关键,可以提高决策效率和解决重大问题.为了更好的理解和重视我们开发该应用的重要性,有两件事是很重要的,一是了解大数据大体上发生了什么,二是评估我们使用商业智能系统的经验如何促进我们思考这个应用. 因为我认为具有洞察力的应用是大数据的下一个变化(可以看看最近IBM沃森平台使用的一些应用),我会发表系列博客进一步探究这个问题.

IDG 李丰:大数据是下一个爆发点!

联想之星和创客总部举办了一个主题为"寻找下一个移动互联网爆发点"的小型沙龙.在这次会上,不仅宣布了由联想之星创业联盟成员企业和北大校友共同发起的创业孵化器创客总部成立,还邀请联想之星投资总监刘维.IDG资本合伙人李丰.天天动听CEO黄晓杰.墨迹天气CEO金犁等人进行了演讲,从不同角度对移动互联网的未来发展趋势和可能出现的爆发点进行讨论.其中 IDG资本合伙人李丰作为投资人代表做了发言,分别对当下移动互联网创业的几个热点如大数据.移动交易.软硬结合等进行了点评,以下内容整理自李丰在现场的

请教下如何按照一定比例几个list的数据添加到一个list中,使得最终数据呈比例排列呢?

问题描述 请教下如何按照一定比例几个list的数据添加到一个list中,使得最终数据呈比例排列呢? 请教下一个算法问题,有个final Arraylist,取名为f吧,有3个a, b, c list,里面的数据分别是30, 10, 30. 现在需要按照3:2:1的比例将a, b, c list里面的数据添加到f list中去,final list里面的数据要变成aaa bb c aaa bb c ....这种按比例排列方式. a, b, c这3个list的数据,不一定同时来的.可能a数据来了,然

杭州动漫游戏业的下一个五年换种新思路赚钱

谁来为杭州的财富积累提供新鲜思路?谁来做杭州转型发展的"动力引擎"?所有人看到了冉冉升起的文创产业. 事实上,杭州已经在文创领域谋划自己的美好未来:2008年,杭州市委十届四次全会提出建立"3+1"现代产业体系,这个"1"就是文化创意产业:2010年国务院正式批准实施的<长江三角洲地区区域规划>中也明确"全国文化创意中心"是杭州的城市功能之一. 如今在杭州,一批文创企业的领袖人物已经开始活跃,他们怀揣动漫电影.网游

link中如果单向传递数据给下一个数据,如同数据的接力一样?

问题描述 link中如果单向传递数据给下一个数据,如同数据的接力一样? link中如果单向传递数据给下一个数据,如同数据的接力一样? 解决方案 参考:http://www.cnblogs.com/chenxizhang/archive/2010/01/03/1638140.html

论证:为什么大数据是下一个浪潮?

数据成为 DT 时代的核心要素. 今年上半年互联网热出现一个新动向,就是入口和应用场景的争夺已到了短兵相接.贴身肉搏的激烈程度.巨头们争夺的最终目标是数据资源.数据已成为 DT(数据技术)时代的核心要素.世界经济论坛报告曾经预测: "未来的大数据 将成为新的财富高地,其价值可能会堪比石油",成为战略性资源. 被低估的影响:大数据将指引人类走向智能社会. 一方面大数据"量"和"质"的双提升奠定人工智能的基础,另一方面数据驱动颠覆传统计算机算法,导致

大数据的下一个前沿是什么?

MGI(麦肯锡全球研究院)和麦肯锡商业技术办公室的报告显示,当今世界的信息量已呈爆炸式增长态势,大型分析数据集--即所谓的大数据,将成为引发新一轮生产力增长.创新及竞争的关键基础之一. 多媒体的崛起,社交媒体及物联网所捕捉到的.与日俱增的信息量,将会使数据在可预见的未来呈指数性增长. 麦肯锡研究了五大领域的大数据--美国医疗保健.欧洲公共部门.美国零售业.美国制造业及全球个人位置数据.对于每个领域,大数据都能创造价值. 例如,如果充分利用大数据技术,零售商就能使其营业利润率提高约60%以上.大数

大数据量下的查找最新的几条数据的通用方法

由于项目需要,需要获取一组数据的的最新一条数据,表结构如下: CREATE TABLE [dbo].[WUSU_SUOLITest_Table](  [ID] [bigint] IDENTITY(1,1) NOT NULL,  [ReceiveTime] [datetime] NULL,  [GroupID] [bigint] NOT NULL,  [DataValue] [float] NULL,  [SensorCode] [char](10) NOT NULL, ) 在这个表上只有两种操作

自动化机器学习将成为下一个AI研究主流?听听数据科学家怎么说

雷锋网(公众号:雷锋网)按:在过去的一年当中,自动化机器学习已经成为一个众人感兴趣的话题.KDnuggets举办了一个关于该话题的博客大赛.结果喜人,有很多有意思的想法与项目被提出来了.一些自动化学习工具也引起了大家的兴趣,受到了大家的追捧. 本篇文章的作者 Matthew Mayo 将会对自动化学习进行简单的介绍,探讨下一下它的合理性.采用情况,介绍下它现在使用的工具,讨论下它预期的未来发展方向.本文由雷锋网编译,未经许可不得转载. 什么是自动化机器学习呢? 接下来我们要探讨的是自动化机器学习