大数据时代的小数据

现在好像人人都爱说“大数据”,就像平时我去开会,不是用大数据分析这个,就是用大数据建构那个。可是我最近看《美国计算机学会通讯》(CACM)上面提到了几次小数据,我觉得大家也有必要了解一下这个有趣的概念。

什么是小数据?小数据就是个体化的数据,是我们每个个体的数字化信息。比如我天天都喝一两酒,突然有天喝完酒了胃疼,我就想了,这天和之前有何不同?原来,这天喝的酒是个新牌子,可能就是喝了这个新牌子的酒让我胃疼。这就是我生活中的“小数据”,它不比大数据那样浩瀚繁杂,却对我自己至关重要。

第一个意识到“小数据”重要性的是美国康奈尔大学教授德波哈尔·艾斯汀。艾斯汀的父亲去年去世了,而早在父亲去世之前几个月,这位计算机科学教授就注意到老人在数字社会脉动中的些许不同—他不再发送电子邮件,不去超级市场买菜,到附近散步的距离也越来越短。

然而,这种逐渐衰弱的状态,真到医院去检查心电图,却不一定能看出来。到急诊室检查的时候,不管是测脉搏还是查病历,这个90岁的老人都没有表现出特别明显的异常。可事实上,追踪他每时每刻的个体化数据,他的生活其实已经明显与之前不同。这种日常小数据带来的生命讯息的警示和洞察,启发了这位计算机科学教授—小数据可以看作是一种新的医学证据,它是“your row of their data”(他们数据中属于你的那行数据)。

人们爱说,大数据将改变当代医学,譬如基因组学、蛋白质组学、代谢组学等等,不过由个人数字跟踪驱动的小数据,也将有可能会对个人医疗带来变革,特别是当可穿戴设备更成熟后,移动技术将可以连续、安全、私人地收集并分析你的数据,这可能包括你的工作、购物、睡觉、吃饭、锻炼和通讯,这些数字追踪将得到一幅只属于你的健康自画像。

拥有了这幅专属于自己的数字自画像,有什么好处呢?假设你是一名患者,这样精确个体化的小数据也许可以帮助你回答:我每次服药应该用怎样的剂量?当然了,药物说明书上会有一个用药指导,但那个数值是基于大量病人海量数据统计分析得来的,但它适不适合此时此刻的你呢?于是,你就需要了解关于你自己的“小数据”。对于慢性病、抑郁症、记忆力衰退和克罗恩病,很需要日常活动变化的数据。大数据一般是从一个大N的种群里面取得的,而小数据n=me。我们需要数据解放,把移动和网络服务的数据解放到你我自己。

这样一来,小数据也许可以为我们提供更多研究的可能性:能不能通过分析年老父母的集成数据,进而获得他们的健康信息?能不能通过这些集成数据,比较不同的医学治疗方案?譬如数据跟踪能说明你散步可以走多远,你多早离开家,那就可以表明关节炎药物治疗效果如何。

更令人期待的是,小数据或许还将成为人类攻克癌症的一个好帮手。现在许多人认识到需要用患者的数据进行个性化的癌症治疗。我们要特征化所有患者。肿瘤细胞的DNA引起不同的癌症病人非常不同的变化。譬如,大致相同的基因变异或删除只占患者的10%。即使是同一个肿瘤,其细胞的变异也不同。基因之间的相互作用可能引起二次变异,对患者的治疗影响很大。所以,对许多患者用同一个治疗方法是不可能成功的。个性化或者说层次式的药物治疗是要按照特定患者的条件开出药方—不是“对症下药”,而是“对人下药”。这些个性化的治疗都需要记录和分析个人行为随时间变化的规律,这就是小数据。

当然,这并不是说大数据就不重要。在医学上发现治疗的一般规律需要大数据。欧美各国都在计划编制患者信息的数据库,不但为了癌症治疗,也为开发新的治疗方法。集成大量在线数据库可以推动个性化用药,减轻他们的痛苦。从大数据得到规律,用小数据去匹配个人。

大数据流行,大家就“言必称大数据”,可这并不是做学问的态度,不要碰到大量的数据,就给它戴上一顶帽子“大数据”。就像20年前,系统工程也很时髦。哪怕是做报告谈到一个比较大的工程,都说那是系统工程。可系统工程又怎么样呢?“那是很难的”,就没有下文了。我们应该敞开思想,研究实际问题,切忌空谈。

闵应骅;中国科学院计算技术研究所研究员、美国电子电气工程师协会会士(IEEE Life Fellow)

原文发布时间为:2014-04-16


时间: 2024-10-24 23:42:26

大数据时代的小数据的相关文章

大数据时代,小数据中心

文章讲的是大数据时代,小数据中心,中国(上海)国际数据中心技术设备展览会在上海隆重开幕.紧跟德国工业4.0的新趋势,威图(Rittal)携绿色.节能.可靠的数据中心系统解决方案登陆本次展会.在变革的大数据时代,威图(Rittal)将引领数据中心行业健康稳步发展. 展会现场,威图针对模拟的微模块.通道封闭系统,进行了实时监测,参观者可以通过液晶屏,直接了解数据中心内部各项指标信息.威图(Rittal)的微模块,它可根据客户需求在工厂进行预制,并可灵活拆卸,快速组装.威图(Rittal)的LCP机柜

大数据时代的“小数据”

如今,CIO们都已经接受了"大数据"的概念,另一个概念也逐渐受到关注:小数据. 这两者看似是相对立的两端,但是这不完全正确.小数据往往指数据量;而大数据当然也包含了数据量,但是也包含了多样性,时效性,特定的技术或者其他概念. Kirk Borne,是美国乔治梅森大学的天体物理学和计算机科学的教授, 他认为这两者的区别是很重要的.Borne有关大数据的课程专注于大数据的属性和先进的分析技术, 而这些也几乎总是可以应用于小数据.但是后者却可以使学生进行实验,磨练他们在数据分析上的技能.而大

大数据时代下小数据又被提起了

&http://www.aliyun.com/zixun/aggregation/37954.html">nbsp; 在本月新出版的一期CACM上又有两篇文章谈到小数据.大数据很热门,小数据也不可忽略,特别是对于个性化的医疗,小数据不可缺少.而且,小数据与大数据的研究是紧密联系在一起的. 大数据.智能设备谈得很多,譬如基因组学.蛋白质组学.代谢组学等等将要改变医学.但是,另一股力量要改变我们关于健康的想法和实践,那就是由个人数字跟踪驱动的小数据.考虑一类基于云的应用,随时间连续地.

大小数据 | 辨析大数据价值与小数据洞察

大数据技术的出现带给人们的思维方式.行为方式.媒体传播方式及社会治理方式等都诸多方面带来了革命性的变革.<大数据时代>一书的核心观点是说:"在大数据时代,我们正经历着一场生活.工作与思维的大变革. 我们没必要非得知道现象背后的原因,而是要让数据自己发声."在大数据时代,相关关系能够帮助我们更好地了解这个世界,建立在相关关系分析法上面的预测是大数据的核心,通过找到"关联物"并监控它,我们就能够预测未来. 作者还提出了"大数据三原则":要

大数据时代下的“数据失控”危机

&http://www.aliyun.com/zixun/aggregation/37954.html">nbsp; 麻省理工学院的阿莱克斯·彭特兰教授说"赤裸裸地站在数字聚光灯下接受审查不是人们应该得到的待遇",这句话听起来既包含着对改善人类当前数字化生活尴尬处境的坚决,又透露出对人们失去个人数据控制力的无奈.频繁发生的数据泄漏事件已经宣告了"数据失控"时代的到来. 在过去差不多十几年的时间里,我们毫无保留地把个人信息交给了互联网,这些信息

大数据时代的小数字感

目前,"大数据"概念已经深入人心.很多人都喜欢谈论大数据.而我们利用数据,其中一个很重要的目的在于,用之为决策提供支持.因此,如何有效地呈现出大数据给出的结果,并把数据以"人话"说出来的,并让受众(很可能是你的领导)听得懂,就显得非常重要的! 想做到这一点,就得迎合人性,或者,更具体点说,要迎合人类大脑的喜好. 一部经典电影引出来的数字感 如果你看过巴里•莱文森导演的经典奥斯卡电影<雨人>(Rain Man),或许你不会忘记其中一个非常有意思的桥段:在餐

大数据时代 你的数据属于谁?

在这个所谓的DT(数据科技)时代,数据的价值正在为人所知,由此而来的个人信息泄露事件也层出不穷.然而,当人们将矛头指向黑客入侵系统漏洞.撞库拖库等,却忽略了掌握数据源的互联网企业. 记者调查:诸多网站默认可以转让你的信息个人数据至今无法确权 在这个所谓的DT(数据科技)时代,数据的价值正在为人所知,由此而来的个人信息泄露事件也层出不穷.然而,当人们将矛头指向黑客入侵系统漏洞.撞库拖库等,却忽略了掌握数据源的互联网企业. <IT时报>记者在调查中发现,数据价值虽已传递到产业链的各个环节,但数据交

大数据时代说来就来 数据垃圾变黄金

大数据时代是指以大数据为驱动,影响生产率增长和消费者盈余模式的一个新的时代.大数据是高容量,高速度和高品质的信息资产,需要新的处理形式,其难以采用常规工具进行采集和处理,大数据时代里,常利用软件工具对海量数据进行挖掘和运用,借此帮助进行决策.洞察发现和流程优化. 大数据时代的迟到 一般来讲,大数据的概念提出可以追溯到上世纪90年代,大数据一词在当时就已经开始流行.而知名的咨询公司麦肯锡在2011年提出"数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素"正式代表着大数据时

大数据大垃圾中的“小数据”价值

"所谓'小数据',并不是因为数据量小,而是通过海量数据分析找出真正能帮助用户做决策的客观依据,让其真正实现商业智能."日前,在线业务优化产品与服务提供商国双科技揭幕成立"国双数据中心",该公司高级副总裁续扬向记者表示,数据对企业决策运营越来越重要,大数据时代来临,企业最终需要的数据不是单纯意义上的大数据,而是通过海量数据挖掘用户特征获取的有价值的"小数据",进而使企业获取有价值的用户信息,科学地分析用户行为,帮助企业明确品牌定位.优化营销策略.