Hadoop与大数据2015的趋势与挑战

大数据通常会引发商业智能的快速可用性,这主要归因于可靠的大容量数据存储和通过使用类似Hadoop的开源工具进行并行处理。通过大数据进行可预测分析和建模所带来的好处是非常多的。

根据IDC对2015年的估计,全球大数据市场(包括利用Hadoop进行高级分析)将会增至1250亿的规模。可以预见到企业在Hadoop顶端构建智能应用将是未来的趋势。让我们来对2015年大数据和Hadoop的趋势进行一番预测。

富媒体分析

企业希望能更多的基于视频,图片以及音频来进行分析。大公司已经开始利用这些富媒体分析来保持在竞争中的领先地位。

据来自IDC的消息,富媒体分析将会变成一项关键的投资考量并且可能会在2015年底增加三倍。

填补Hadoop解决方案的空白

Hadoop是一个开源平台,用来存储和处理结构化和非结构化数据。根据ForresterResearch的说法,对于Hadoop来说,在数据管理和治理解决方案上还有很多空白。

在这里,诸如Oracle,IBM和Microsoft之类的企业级软件公司将会继续使用他们自己的数据管理和治理工具在Hadoop环境下与企业应用进行同步并在本地运行,以此来填补空白。

内部Hadoop人才的发展

目前Hadoop技术在全球市场上存在不足是一个已知的事实。然而,作为一个开源平台,企业级Java应用开发人员很容易进行深入挖掘并学习相关API。

Forrester Research认为在2015年会看到更多的公司让其内部应用开发团队使用Java来执行大数据和Hadoop项目。这就意味着随着企业内部对必需的Hadoop专业知识的发展,当前Hadoop技能的短缺局面会有效缓解。

对单独SQL的需求量增加

对于在数据库上进行读写来说,SQL应用(用于Hadoop内部或之上)是至关重要的。IT团队已经开始使用不同的SQL语言来解决不同的与大数据相关的业务查询。

但是,一些问题也随之而来,例如管理层可能无法及时获取他们所需的情报。信息只有在需要时可用才是有意义的,否则就只不过是对企业资源的一种浪费。这就是为什么对于用单独SQL语句来访问企业存储于不同地点所有数据的需求将会增加的原因。这最终可能会让数据存储相关的决策由诸如成本以及更快的访问这些因素来决定,而不是取决于去覆盖SQL的局限性。

安全和治理解决方案得以完善

大数据安全解决方案将会在基于对网络模式的定期监控(甚至可能是实时的)来定位异常活动上扮演重要角色。

据InternationalInstitute of Analytics(IIA 国际分析研究所)的消息,这最终会在2015年成为企业用来防范网络犯罪的必备之选。而对于治理Hadoop系统安全和应用访问控制以保证与企业安全策略相符合的需求将会持续增长。

本文作者:佚名

来源:51CTO

时间: 2024-08-02 08:43:18

Hadoop与大数据2015的趋势与挑战的相关文章

解读2013年大数据应用与趋势的调研

在互联网行业,2013年可以说是被公认是具有跨时代意义的"大数据元年".在这一年,数据比以往任何时候都要宝贵,甚至成为可以与石油资源相媲美的新能源,大数据被认为是继信息化和互联网后整个信息革命的又一次高峰.然而,大数据不是口号,需要更多的企业付诸实践,从单调的数据中挖掘出潜在价值. 在本年初的一项调查曾指出,28%的全球企业和25%的中国企业已经开始进行大数据实践.为了进一步了解中国企业大数据应用的真实情况,有关结构展开了一项有关大数据应用与趋势的专项调查,揭示大数据给企业带来的挑战及

《Hadoop海量数据处理:技术详解与项目实战》一1.2 Hadoop和大数据

1.2 Hadoop和大数据 Hadoop海量数据处理:技术详解与项目实战 在人们对云计算这个词汇耳熟能详之后,大数据这个词汇又在最短时间内进入大众视野.云计算对于普通人来说就像云一样,一直没有机会能够真正感受到,而大数据则更加实际,是确确实实能够改变人们生活的事物.Hadoop从某个方面来说,与大数据结合得更加紧密,它就是为大数据而生的. 1.2.1 大数据的定义 "大数据"(big data),一个看似通俗直白.简单朴实的名词,却无疑成为了时下IT界最炙手可热的名词,在全球引领了新

大数据的技术趋势与应用前景

国家自然科学基金委员会副主任. 中国工程院院士高文教授,在第二届中国OTT TV峰会上,以<大数据的技术趋势与应用前景>为题作主题演讲.高院士从宽带中国战略和信息消费的政策层面,提出OTT TV发展正面临一个重要的发展机遇.而基于显著性计算实现精准广告,基于大数据平台智能搜索实现付费收看,是两个可能的盈利模式.同时,OTT TV也对大数据和编解码技术提出了新的技术挑战. 如下是国家自然科学基金委员会副主任. 中国工程院院士高文先生,题为<大数据的技术趋势与应用前景>的演讲全文: 讲

2013年大数据应用与趋势调查

2013年被认为是具有跨时代意义的"大数据元年".在这一年,数据比以往任何时候都要宝贵,甚至成为可以与石油资源相媲美的新能源,大数据被认为是继信息化和互联网后整个信息革命的又一次高峰.然而,大数据不是口号,需要更多的企业付诸实践,从单调的数据中挖掘出潜在价值. 年初的一项调查曾指出,28%的全球企业和25%的中国企业已经开始进行大数据实践.为了进一步了解中国http://www.aliyun.com/zixun/aggregation/13861.html">企业大数据

Hadoop——处理大数据的宠儿

驱动大数据增长的主要因素包括移动设备和社交网络的大幅度增长.以往纸质文件的数字化以及科研数据的增长."他们的存档文件正在高速增长,因为他们并不清楚哪些需要保存,哪些不需要保存,"EMC旗下的Isilon公司美国首席技术官Rob Peglar说道. 各个产业的公司都在为大数据分析投入大量资金.其中一个产业为对病人数据进行分析诊疗的医疗产业.Peglar说,在金融服务产业,对数据进行定性分析也颇受关注.在这方面,分析的是杂乱无章的股票交易数据.大数据分析在制造和设计业的应用也有所增长,但增

Hadoop处理大数据的梦想与现实

可以说,Hadoop的出现是计算技术发展进程中一个重要的里程碑,它使实用的大规模分布式计算和存储成为可能.因此,有专家评论,Hadoop是到目前为止最为成功的通用分布式处理框架,也是这些年来影响最为深远的系统性开源项目之一. IDC发布的Hadoop软件生态系统预测报告显示,Hadoop市场正在以60%的年复合增长率高速扩张.Gartner也估计,2014年,Hadoop生态系统市场规模在7700万美元左右,2016年,该市场规模将快速增长至8.13亿美元. 另外,Allied Market R

IDF2013:英特尔超越Hadoop的大数据

[IT168 专稿]2013年4月10日消息,2013年英特尔信息技术峰会(IDF 2013)在北京国家会议中心举行,本届IDF主题为"未来,用"芯"体验",宣示英特尔更加以用户体验为核心,立足英特尔架构继续扩大和深化产业合作,全面推动计算技术创新.芯片制造创新.应用体验创新.终端形态创新和云端智能创新,以强大的计算力开启一个全新的个性化体验新时代.来自中国和全球各地的数千名软硬件开发人员.技术管理人员及媒体.分析师将汇聚一堂,体验前沿的技术成果,探索未来的创新趋势

《大数据热点与趋势》发布:从概念化走向价值化

5日,2013年大数据技术大会在北京召开.CCF大数据专家委员会秘书长程学旗代表大数据委员会宣布2013年大数据白皮书和2014年<大数据热点问题与发展趋势>正式发布. 程学旗表示,2013年大数据白皮书从大数据发展背景.技术体系现状.产业链和环境.人才培养人才资源五大章节对2013年大数据的整体环境做出总结,并在第六章对大数据发展趋势做出思考阐述. 委员会预测,网络大数据.金融大数据.健康医疗大数据.企业大数据.政府管理大数据和安全大数据将成为2014年大数据最具发展优势的六大应用领域.并分

2012 Hadoop与大数据技术大会盛大开幕

摘要:11月30日-12月1日,中国IT界技术盛会--Hadoop与大数据技术大会(HBTC 2012)在北京新云南皇冠假日酒店隆重开幕.大会以"大数据共享与开放技术"为主题,设定"Hadoop生态系统"."大数据行业应用"."大数据共享平台与应用"."NoSQL与NewSQL"以及"大数据的技术挑战与发展趋势"五个分论坛. 2012年11月30日-12月1日,中国IT界技术盛会--Ha