未来 云计算将在大数据领域扮演怎样的角色?

企业存储环境主要是围绕记录系统构建起来的,侧重于这些问题:为数据记录长度固定的文件购买哪些类型的存储介质和管理系统,所存储数据的性质是实时数据、准实时数据,还是只是偶尔需要访问或完全可以用数据归档保存起来的批量填充的数据等。

自从大数据进入企业数据中心和业务部门,一切改变了――单个的大数据文件可以用数TB、甚至数PB来衡量。Hadoop等分析平台上的大数据并行处理与事务数据的按顺序处理有着明显区别。不出所料,存储方面要考虑的因素随之变化。

这种变化在数据分析和高性能计算领域体现得最为明显。这个领域以Hadoop应用程序为主,它们借助算法分析方法并行处理数PB级数据,用于数据科学及其他复杂查询。就高性能应用程序而言,很难考虑像虚拟化存储或基于云的存储这些概念,因为你只有通过数据中心的物理处理器和存储平台,才能直接处理并存储数据和查询结果。

因此,这种工作具有的计算密集性和存储密集性使数据中心管理人员(包括存储专业人员)不再像过去十年那样,迫切寻求的虚拟化或云计算。作为大数据对象存储特点的单一数据集的庞大性也是如此,它们使用元数据标签来描述非传统数据图像,比如照片、视频、音频记录和文档图像等。

鉴于这些发展动向,云计算在大数据领域可以扮演什么角色呢?

答案是冷存储(cold storage),这个领域仍没有得到企业界的充分利用。冷存储是极其便宜、速度很慢、驻留在磁盘的数据,存储起来放到归档上,妥善保存起来。在日常的IT中,这些数据很少有机会需要用到,所以如果你把它转移到异地数据存储库很方便,不必让它在你的数据中心或运营系统中占用空间。如果该数据存储库在云端,你就能够从数据中心远程访问它,没必要大老远跑到异地拿起磁盘或磁带。

云计算和虚拟存储在数据集市也存在发展前景。现在许多公司使用数据集市为不同的部门运行批量查询。数据集市中所用的数据大多是批量创建,基本是过去用来查询的传统数据。不同之处在于,用户现在拥有比过去更多的分析报告创建工具和选项用于查询,而且数据管理员更能够生成从不同来源聚合的数据。在这种批量环境下,磁盘存储解决方案用起来就跟过去一样有效。

存储管理员需要应对大数据带来的变化,尤其是如何应对众多极其庞大的大数据文件。这就需要专门的磁盘和处理,在大多数情况下,还需要与云计算和虚拟化项目背道而驰的本地存储。在另一方面,商用冷存储解决方案可能会最终消除这个困境:很少使用的数据驻留在机房的过时磁盘和磁带驱动器上,无人照管。

====================================分割线================================

本文转自d1net(转载)

时间: 2024-11-06 03:56:20

未来 云计算将在大数据领域扮演怎样的角色?的相关文章

神州信息:大数据领域积极布局 未来更好服务民生

近日,中国大数据产业峰会在贵阳隆重开幕,李克强总理出席会议,并就大数据在中国的发展未来与中外科技业界知名人士进行了深度互动交流.神州控股董事局主席.神州信息董事长郭为先生受邀出席座谈会并表示:神州数码将围绕建设智慧城市需求,让大数据更好服务民生.神州控股旗下子公司神州信息副总裁张丹丹.神州信息政务数据服务SBU总裁刘捷,神州信息医疗解决方案SBU总裁史文钊与分别代表农业大数据.智慧城市大数据.医疗大数据等业务参加会议,并近距离聆听了李克强总理的大数据思路. 作为中国首个国家级的大数据会议,此次盛

惠普演示云计算、移动化、信息安全和大数据领域的创新解决方案

2013年5月8日,上海--惠普公司今日亮相2013中国(上海)国际技术进出口交易会.在270平米的专属展区内,惠普专家将围绕"IT新型态"这一主题全面讲解和演示惠普在云计算.移动化.信息安全和大数据领域的创新解决方案. 当今时代,一种IT新型态正在由云计算.移动化.信息安全与大数据等趋势的发展推动而成.它改变了技术消费和交付的方式,以及终端用户的使用方式.IT新型态意味着信息技术的使用更简便.灵活.速度更快.成本更低,将为企业带来新的发展机遇,帮助企业克服从传统模式转向IT新型态的过

未来五年,大数据将与云计算更加融合

文章讲的是未来五年,大数据将与云计算更加融合,云端的大数据就像科幻小说里对未来的描绘一样:它在这,只是不是很均匀地分布罢了. 高调的厂商,比如AWS.谷歌.微软.IBM和Rackspace等,都提供云基础的Hadoop和NoSQL数据库平台来支持大数据应用程序.很多初创公司都引入了云平台上的管理服务,按需部署自己的系统.大数据和云计算的融合往往是互联网公司的首先项,尤其是初创的软件和数据服务供应商. 但很多主流公司并不像互联网公司那样看重云端数据管理.一些公司担心云端的数据安全和隐私保护.一些公

阿里集团刘冰:未来的时代是大数据时代

文章讲的是阿里集团刘冰:未来的时代是大数据时代, 7月23日上午消息,2015中国互联网大会之国际互联网高峰论坛在北京国际会议中心举行.阿里巴巴集团副总裁刘冰在现场做了主题的演讲. 刘冰表示,未来的时代是大数据时代,大数据就像魔方一样吸引着人类,相信在未来.在中国会产生100个.1000个.甚至10000个超越阿里巴巴的公司. 在其看来,现在我们生活在一个非常好的时代,互联网是基础设施,大数据是战略资源,云计算是核心竞争力. 以下是刘冰演讲全文: 尊敬的卢秘书长,尊敬的各位来宾.各位朋友,大家上

详细解读云计算时代的大数据

在面对着急速增长到高达PB级的海量业务数据时,人们脑海中自然而然出现了许许多多的疑问,大数据能对我的业务提供怎么样的帮助?云和大数据之间究竟存在着怎样的联系?云能否落地?Hadoop到底能不能当成是大数据的万能药?虚拟化将在大数据之中扮演一个什么样的角色?抱着这么多的疑问,今天我们就来走近大数据. 根据IDC的一份名为"数字宇宙"的报告,预计到2020年全球数据使用量将会达到35.2ZB.在如此海量的数据面前,处理数据的效率就是企业的生命. 大数据的来源 海量数据到大数据的发展过程是一

Spark-云计算大数据领域的新霸主

据相关数据显示,2013年上半年中国手机网民规模已经突破5亿大关,预计14年第一季度,国内手机网民规模将超PC端,手机用户超过10亿,3G 用户持续增长,以及4G的强势劲头,都催生移动大数据的爆发.大量新数据无时无刻不在涌现,移动互联网正影响着人类生活的方方面面. 这将是一个前所未有的时代.所有的公司和机构都已经或者正在成为移动互联网组织.所有的公司和机构也终将是云计算大数据组织.移动互联网及云计算大数据的浪潮正在并将最终彻底的变革所有的公司和机构的架构模式.生产模式.服务模式以及管理模式. S

大数据领域33个预测,开启未知的2016

数据平民崛起 甲骨文公司预测一种新型用户:数据平民(Data Civilian)会崛起.该公司称:"虽然复杂的数据统计可能仍局限于数据科学家,但数据驱动的决策不会是这样.在未来一年,更简单的大数据发现工具让业务分析员可以寻找企业Hadoop集群中的数据集,将它们重新做成新的混搭组合,甚至运用探索性机器学习方法来分析它们. "大数据"会消亡 Nucleus Research公司公开发表了不同意见,预测我们所知道的大数据会消亡.该公司称:"在过去两年,每家公司及其人员似

2016大数据领域最有“钱”途的十大职业

缺人,这是全国乃至全球大数据圈都挺蛋疼的一件事儿,一边是"大数据热"疯狂蔓延,一边是 "供血"严重不足.企业家们着急得很,服务器齐齐杵那儿,光耗电不输出也很闹心.Gartner公司早前预测,2015年仅凭大数据就能为全球增加440万个就业岗位,但只有三分之一的岗位可以招到人,意味着近300万的岗位"虚位以待". 而2015年,中国的大数据人才缺口已经超过100万人.在技术.资本和市场的强推下,大数据今年发展的势头更加迅猛了,但大数据人才只有46万

盘点2016年大数据领域成果及趋势

2016即将结束,外媒KDnuggets日前针对大数据领域在2016年度取得的重大发展,以及2017年度可能出现的变化趋势,询问了8位行业内的顶级专家. 虽然各位专家的意见不尽相同,但从其发言中大约可以总结出一个共通点:大数据研究正在由前几年的新鲜技术变得越来越普及和商业化.同时,由于研究的向前推进,以数据为基础的人工智能.机器学习和物联网等其他各个领域也将会取得越来越大的成果. 1. Craig Brown,大数据.数据科学.数据库技术领域专家.美国知名的青年导师.科技导师,以及作家. 在20