专家观点:“大数据”与“海量数据”的区别

  很多年前,业界就在讨论一个话题:如何应对海量数据?特别是一些需要存储大量用户数据的行业,金融、电信、保险等热门行业。用户几乎在一天的每个小时,都有可能产生大量数据,这些行业的存储设备,必须要将期间产生的数据一丝不苟地记录下来。随着数据量的迅速增加,很多行业用户开始想办法变“数”为宝,从海量数据中挖掘有价值的信息。

  如果仅仅是海量的结构性数据,那么解决的办法就比较的单一,用户通过购买更多的存储设备,提高存储设备的效率等解决此类问题。然而,当人们发现数据库中的数据可以分为三种类型:结构性数据、非结构性数据以及半结构性数据等复杂情况时,问题似乎就没有那么简单了。

  大数据汹涌来袭

  当类型复杂的数据汹涌袭来,那么对于用户IT系统的冲击又会是另外一种处理方式。很多业内专家和第三方调查机构通过一些市场调查数据发现,大数据时代即将到来。有调查发现,这些复杂数据中有85%的数据属于广泛存在于社交网络、物联网、电子商务等之中的非结构化数据。这些非结构化数据的产生往往伴随着社交网络、移动计算和传感器等新的渠道和技术的不断涌现和应用。

  如今大数据的概念也存在着很多的炒作和大量的不确定性。为此,编者详细向一些业内专家详细了解有关方面的问题,请他们谈一谈,大数据是什么和不是什么,以及如何应对大数据等问题,将系列文章的形式与网友见面。

  有人将多TB数据集也称作"大数据"。据市场研究公司IDC统计,数据使用预计将增长44倍,全球数据使用量将达到大约35.2ZB(1ZB = 10亿TB)。然而,单个数据集的文件尺寸也将增加,导致对更大处理能力的需求以便分析和理解这些数据集。

  EMC曾经表示,它的1000多个客户在其阵列中使用1PB(千兆兆)以上的数据数据,这个数字到2020年将增长到10万。一些客户在一两年内还将开始使用数千倍多的数据,1EB(1艾字节 = 10亿GB)或者更多的数据。

  对大企业而言,大数据的兴起部分是因为计算能力可用更低的成本获得,且各类系统如今已能够执行多任务处理。其次,内存的成本也在直线下降,企业可以在内存中处理比以往更多的数据,另外是把计算机聚合成服务器集群越来越简单。IDC认为,这三大因素的结合便催生了大数据。同时,IDC还表示,某项技术要想成为大数据技术,首先必须是成本可承受的,其次是必须满足IBM所描述的三个"V"判据中的两个:多样性(variety)、体量(volume)和速度(velocity)。

  多样性是指,数据应包含结构化的和非结构化的数据。

  体量是指聚合在一起供分析的数据量必须是非常庞大的。

  而速度则是指数据处理的速度必须很快。

  大数据"并非总是说有数百个TB才算得上。根据实际使用情况,有时候数百个GB的数据也可称为大数据,这主要要看它的第三个维度,也就是速度或者时间维度。

  Garter表示,全球信息量正在以59%以上的年增长率增长,而量是在管理数据、业务方面的显著挑战,IT领袖必须侧重在信息量、种类和速度上。

  量:企业系统内部的数据量的增加是由交易量、其它传统数据类型和新的数据类型引发的。过多的量是一个存储的问题,但过多的数据也是一个大量分析的问题。

  种类:IT领袖在将大量的交易信息转化为决策上一直存在困扰 - 现在有更多类型的信息需要分析 - 主要来自社交媒体和移动(情景感知)。种类包括表格数据(数据库)、分层数据、文件、电子邮件、计量数据、视频、静态图像、音频、股票行情数据、金融交易和其它更多种类。

  速度:这涉及到数据流、结构化记录的创建,以及访问和交付的可用性。速度意味着正在被生成的数据有多快和数据必须被多快地处理以满足需求。

  虽然大数据是一个重大问题,Gartner分析师表示,真正的问题是让大数据更有意义,在大数据里面寻找模式帮助组织机构做出更好的商业决策。

(责任编辑:蒙遗善)

时间: 2024-07-29 02:30:56

专家观点:“大数据”与“海量数据”的区别的相关文章

“大数据”与“海量数据”的区别

如果仅仅是海量的结构性数据,那么解决的办法就比较的单一,用户通过购买更多的存储设备,提高存储设备的效率等解决此类问题.然而,当人们发现数据库中的数据可以分为三种类型:结构性数据.非结构性数据以及半结构性数据等复杂情况时,问题似乎就没有那么简单了. 大数据汹涌来袭 当类型复杂的数据汹涌袭来,那么对于用户IT系统的冲击又会是另外一种处理方式.很多业内专家和第三方调查机构通过一些市场调查数据发现,大数据时代即将到来.有调查发现,这些复杂数据中有85%的数据属于广泛存在于社交网络.物联网.电子商务等之中

XTools观点:大数据太薄CRM助探索厚数据

文章讲的是XTools观点:大数据太薄CRM助探索厚数据,人的一生会给这个世界留下痕迹,呱呱坠地.童言无忌.青梅竹马;三两知己,把酒言欢,激情四射;大山大河.奇峰怪石.高峡平湖;浮华背后,机关算尽,如此种种.随着互联网时代的到来,更多的社交方式愈加普及,人们的痕迹,就像"孙悟空到此一游"一样,以数据的形式被记录下来.喜欢的书.音乐.电影.景色.同道中人 -- 数据之大,难以想象. 许多人现在似乎相信,理解我们这个世界的最佳方式,就是坐在电脑屏幕前分析我们称之为"大数据&quo

百家讲坛:众专家围绕大数据各抒己见

大数据时代,不仅带来巨大社会价值和商业价值,也带来很多争议和值得研究的话题."大数据" 需要大量计算资源来存储.组织处理与报告结果.这一新兴领域改变了数据中心服务器与其他基础设施的选择与部署方式. 为了在现今的商业环境中竞争并获得成功,公司必须通过对现有数据进行多维度的分析,才能做出业务决策.分析这些不断膨胀的大数据已经成为越来越重要的趋势与机遇. SearchDataCenter咨询委员会将介绍受大数据影响的商业模式,如何改变企业数据中心的运作,并为大家提供关于新数据中心机会的独特见

尖峰对话专家 IBM大数据平台差异化优势

本文讲的是尖峰对话专家 IBM大数据平台差异化优势,当前,行业对于"大数据"的关注疾速攀升,这并不亚于数据本身的增长程度.您是否想过,我们看到的"谈大数据色变"或许只是个表象,走在行业前列的企业早已开始默默挖掘大数据中蕴含的"金矿",为自己的业务飙升迈出制胜一步. 作为行业引领者,IBM一直走在新趋势的前沿,对于大数据更是全力融合创新技术与行业经验助力客户梳理大数据概念,选择战略方向,制定方案策略,实现行业落地:今年5月,IBM智慧的分析洞察正式

一种大数据时代海量数据抽取的开发模型研究

一种大数据时代海量数据抽取的开发模型研究 罗恩韬  胡志刚  林华 随着云时代的来临,时下对大数据(Big data)的关注和研究是越来越高,大数据通常是用来形容大量非结构化和半结构化数据,随着大数据增长速度提高,数据体量增大,数据的冗余也将会越来越大,传统的数据软件分析模型已经不能满足需要海量信息的处理和分析的需要,如何从大数据里面抽取有效的信息,对数据的进行有效的分析和决策,建立新的数据模型对数据进行分析和处理就显得尤为重要,本文采取了一种更适合大数据时代的数据抽取模型,并给出了数据抽取的判

Hadoop挨批!专家认为大数据让研究困难

1 统计显示Hadoop挨批评 大数据这个概念由来已久, 也一直引人关注.很多人也认为大数据是大多数商业和科学问题的答案. 调查结果统计(图:paradigm4.com) 但是最新的一项http://www.aliyun.com/zixun/aggregation/32268.html">调查显示的结果和人们的心理预期并不相符.根据数据库专家Paradigm4的数据显示,近四分之三的科学家认为大数据使得他们的研究变得更加困难. 调查结果统计(图:paradigm4.com) 一项针对111

五个角度浅析大数据与BI的区别

BI(Business Intelligence),中文翻译是商务智能,是一套完整的解决方案,用来将组织中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助组织做出明智的业务经营决策. 大数据(Big Data)是从收集的海量数据中,通过算法将这些来自不同渠道.格式的数据进行直接分析,从中寻找到数据之间的相关性.简单而言,大数据更偏重于发现,以及猜测并印证的循环逼近过程. 不管定义如何不同,大数据与传统BI是社会发展到不同阶段的产物,我们从几下几个纬度来可以迅速的看出两者的区别:

专家:大数据成政府实现治理现代化的新途径

大数据与政府治理创新研讨会11日在贵安新区举行. 当前信息化快速发展的进程当中,互联网大数据给人类社会各个领域带来了巨大的便利,同时大数据的运用也给政府的创新提供了空间. 10月11日,在贵州省贵安新区举行的大数据与政府治理创新研讨会上,来自国内60余位政府官员及大数据行业的专家齐聚一堂,围绕大数据如何创新政府治理这一话题进行了热议.专家认为,利用大数据可创新政府治理,大数据已成为政府实现治理现代化的新途径. 如今,在"大数据时代",运用大数据推动经济发展.完善社会治理.提升政府服务和

行业专家采用大数据预测寿命

英国东安格利亚大学(UEA)的统计学家.计算机科学家以及医学研究人员推出一个采用大数据来预测人们寿命的项目. 这项研究可用于开发更强大的,个性化的治疗以及为人们带来更为实用的金融和医疗福利:例如帮助人们规划养老,知道某种药物(如他汀类药物或β受体阻滞剂)是如何影响患者预期寿命的.这个为期四年的项目已通过了80万英镑的融资拨款批准. 英国东安格利亚大学计算科学学院首席研究员埃琳娜·库琳斯卡娅教授说:"世界各地的人们的寿命将会越来越长.我们想要开发一个利用医疗机构收集的大数据的软件工具,以预测人们的