大数据时代的“小数据”

如今,CIO们都已经接受了“大数据”的概念,另一个概念也逐渐受到关注:小数据。

这两者看似是相对立的两端,但是这不完全正确。小数据往往指数据量;而大数据当然也包含了数据量,但是也包含了多样性,时效性,特定的技术或者其他概念。

Kirk Borne,是美国乔治梅森大学的天体物理学和计算机科学的教授, 他认为这两者的区别是很重要的。Borne有关大数据的课程专注于大数据的属性和先进的分析技术, 而这些也几乎总是可以应用于小数据。但是后者却可以使学生进行实验,磨练他们在数据分析上的技能。而大数据则会快速把他们淹没。

随着CIO们斟酌着“多少数据是太多的数据”这个问题时,小数据在企业界因为类似的原因为自己树立名声。 Borne,前美国航空航天局员工,还曾为哈勃太空望远镜团队工作10年,在接受TechTarget专访时讨论了有关什么是小数据,以及它和大数据概念如何相互融合。

问:您最近会在一些会议上讨论小数据和大数据的对比。让我们先从定义开始:什么是大数据,什么是小数据?

Kirk Borne:定义小数据相对容易点,因为它基本上就是你能在笔记本电脑上完成的数据。大数据 – 则更复杂。我现在正在推广这样一个定义:大数据就是一切能够被量化和被追踪的。关于这一点,我的意思是我们现在几乎对于一切都在进行测量和量化 – 通过社交媒体,智能高速公路,智能城市,移动医疗,电子医疗记录,监控摄像头无处不在,这也涉及到大数据所带来的隐私问题。所有可以被测量的一切,我们都在进行测量。而我们不仅只是进行一次测量,我们还跟踪它如何随时间而变化。

问:为什么大数据如此难以定义?

Borne:你肯定看过瞎子摸象的动画片。每个人对于它是什么都有不同的定义,因为有人摸到的是腿,有人摸到的是鼻子,有人摸到的是尾巴。对于‘大象’,每个人都有不同的描述和定义。这就是我们的难处。人们希望大数据是一个概念,但是这是行不通的。

问:就职于Actuate公司的Allen Bonde曾经说过,小数据适合人使用,而大数据适合机器使用。这一区别定义合理吗?

Borne:是的。这是一种概括的说法。小数据,是你学习时使用的数据。关于学习,我指的是两件事情:第一,教育概念里的学习。所以,当我教授课程时,我一直使用小数据,我从来没有使用过大容量意义上的大数据,因为如果这样,学生们就会花费一整个学期学习如何移动数据,而没有时间学习任何运算方法。第二,当你在一个企业内,你想知道使用哪些合适的数据能够,追踪客户,或者向客户提供推荐,或者知道客户的偏好。或者说,有一个网络安全分析问题,你需要检测出漏洞或黑客攻击。所以,你进行这些实验,找出你所需要测量的数据 - 这就是小数据。

一旦你学会了这一模型......那么你使用它,在机器上运行完整的数据流。机器,本质上,使用你通过小数据得出的模型或者技能,在大数据流上进行运算。所以,小数据适合人使用,而大数据适合机器使用。

问:可视化技术在小数据与大数据的讨论中如何起到作用?

Borne:让我给你举个例子。当你第一次使用谷歌地图或者其他任何地图服务时,你会先看到一个世界地图。你没有真正获得任何数据;你只是看到了地球的图片。当你不断放大到一个特定的地点,它只提供给你这个特定地点的信息。当你不断放大,你将获得越来越高分辨率的数据。当你放大到分辨率最大可能值时,你就能看到自家的后院。这只不过是大数据的一个子集。是的,这一部分是‘小数据’,但是你真正所作的是,建立了一个分级数据结构,使你能够一层一层的放大。你可以左右移动,在同样分辨率下看到其他房子或者小区。可视化的强大就在这里。当你键入这个分级数据结构的某一特定数据时,可以说,你只是看到了冰山一角。 但是当你想移动到另一边时,你就可以获得同样分辨率数据集下的其他特定数据。你仍然可以访问整个数据集。

如果是小数据,你只是下载了一张地图,比如你自己城市的一个高分辨率地图,然后在地图上进行数据分析。

原文发布时间为:2014年07月04日

本文来自合作伙伴至顶网,了解相关信息可以关注至顶网。

时间: 2024-09-11 21:40:43

大数据时代的“小数据”的相关文章

大数据时代,小数据中心

文章讲的是大数据时代,小数据中心,中国(上海)国际数据中心技术设备展览会在上海隆重开幕.紧跟德国工业4.0的新趋势,威图(Rittal)携绿色.节能.可靠的数据中心系统解决方案登陆本次展会.在变革的大数据时代,威图(Rittal)将引领数据中心行业健康稳步发展. 展会现场,威图针对模拟的微模块.通道封闭系统,进行了实时监测,参观者可以通过液晶屏,直接了解数据中心内部各项指标信息.威图(Rittal)的微模块,它可根据客户需求在工厂进行预制,并可灵活拆卸,快速组装.威图(Rittal)的LCP机柜

大数据时代的小数据

现在好像人人都爱说"大数据",就像平时我去开会,不是用大数据分析这个,就是用大数据建构那个.可是我最近看<美国计算机学会通讯>(CACM)上面提到了几次小数据,我觉得大家也有必要了解一下这个有趣的概念. 什么是小数据?小数据就是个体化的数据,是我们每个个体的数字化信息.比如我天天都喝一两酒,突然有天喝完酒了胃疼,我就想了,这天和之前有何不同?原来,这天喝的酒是个新牌子,可能就是喝了这个新牌子的酒让我胃疼.这就是我生活中的"小数据",它不比大数据那样浩瀚繁

大数据时代下小数据又被提起了

&http://www.aliyun.com/zixun/aggregation/37954.html">nbsp; 在本月新出版的一期CACM上又有两篇文章谈到小数据.大数据很热门,小数据也不可忽略,特别是对于个性化的医疗,小数据不可缺少.而且,小数据与大数据的研究是紧密联系在一起的. 大数据.智能设备谈得很多,譬如基因组学.蛋白质组学.代谢组学等等将要改变医学.但是,另一股力量要改变我们关于健康的想法和实践,那就是由个人数字跟踪驱动的小数据.考虑一类基于云的应用,随时间连续地.

大小数据 | 辨析大数据价值与小数据洞察

大数据技术的出现带给人们的思维方式.行为方式.媒体传播方式及社会治理方式等都诸多方面带来了革命性的变革.<大数据时代>一书的核心观点是说:"在大数据时代,我们正经历着一场生活.工作与思维的大变革. 我们没必要非得知道现象背后的原因,而是要让数据自己发声."在大数据时代,相关关系能够帮助我们更好地了解这个世界,建立在相关关系分析法上面的预测是大数据的核心,通过找到"关联物"并监控它,我们就能够预测未来. 作者还提出了"大数据三原则":要

大数据时代下的“数据失控”危机

&http://www.aliyun.com/zixun/aggregation/37954.html">nbsp; 麻省理工学院的阿莱克斯·彭特兰教授说"赤裸裸地站在数字聚光灯下接受审查不是人们应该得到的待遇",这句话听起来既包含着对改善人类当前数字化生活尴尬处境的坚决,又透露出对人们失去个人数据控制力的无奈.频繁发生的数据泄漏事件已经宣告了"数据失控"时代的到来. 在过去差不多十几年的时间里,我们毫无保留地把个人信息交给了互联网,这些信息

大数据时代的小数字感

目前,"大数据"概念已经深入人心.很多人都喜欢谈论大数据.而我们利用数据,其中一个很重要的目的在于,用之为决策提供支持.因此,如何有效地呈现出大数据给出的结果,并把数据以"人话"说出来的,并让受众(很可能是你的领导)听得懂,就显得非常重要的! 想做到这一点,就得迎合人性,或者,更具体点说,要迎合人类大脑的喜好. 一部经典电影引出来的数字感 如果你看过巴里•莱文森导演的经典奥斯卡电影<雨人>(Rain Man),或许你不会忘记其中一个非常有意思的桥段:在餐

大数据时代 你的数据属于谁?

在这个所谓的DT(数据科技)时代,数据的价值正在为人所知,由此而来的个人信息泄露事件也层出不穷.然而,当人们将矛头指向黑客入侵系统漏洞.撞库拖库等,却忽略了掌握数据源的互联网企业. 记者调查:诸多网站默认可以转让你的信息个人数据至今无法确权 在这个所谓的DT(数据科技)时代,数据的价值正在为人所知,由此而来的个人信息泄露事件也层出不穷.然而,当人们将矛头指向黑客入侵系统漏洞.撞库拖库等,却忽略了掌握数据源的互联网企业. <IT时报>记者在调查中发现,数据价值虽已传递到产业链的各个环节,但数据交

大数据时代说来就来 数据垃圾变黄金

大数据时代是指以大数据为驱动,影响生产率增长和消费者盈余模式的一个新的时代.大数据是高容量,高速度和高品质的信息资产,需要新的处理形式,其难以采用常规工具进行采集和处理,大数据时代里,常利用软件工具对海量数据进行挖掘和运用,借此帮助进行决策.洞察发现和流程优化. 大数据时代的迟到 一般来讲,大数据的概念提出可以追溯到上世纪90年代,大数据一词在当时就已经开始流行.而知名的咨询公司麦肯锡在2011年提出"数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素"正式代表着大数据时

大数据大垃圾中的“小数据”价值

"所谓'小数据',并不是因为数据量小,而是通过海量数据分析找出真正能帮助用户做决策的客观依据,让其真正实现商业智能."日前,在线业务优化产品与服务提供商国双科技揭幕成立"国双数据中心",该公司高级副总裁续扬向记者表示,数据对企业决策运营越来越重要,大数据时代来临,企业最终需要的数据不是单纯意义上的大数据,而是通过海量数据挖掘用户特征获取的有价值的"小数据",进而使企业获取有价值的用户信息,科学地分析用户行为,帮助企业明确品牌定位.优化营销策略.