大数据的人类面孔

所谓“大数据人类面孔”(The Human Face of Big Data,HFoBD),请不要望文生义,误解为与视频或图像中的人脸识别有密切的关联——虽然,“大数据人类面孔”项目的发起者里克·斯莫兰(Rick Smolan)是一位著名的摄影家。

该项目是一个全球性的尝试,旨在向人类介绍大数据对我们所有人在生活、学习、治理、工作和玩乐方式上的革命性作用。该项目将通过简单、人性化的故事和图像,展示大数据已经对我们的世界带来的改变,并预示它将在未来影响到我们的一些方式。该项目还将大数据作为活动本身的基石:它将全球数以百万计的人聚集到一起,充当一天的“人体传感器”,提供他们在2012年一个24小时的时间段内,有关他们的思想、行为、意见和经验的信息。该项目有六个主要组成部分:人类的传感器组件(智能手机应用程序)、行动中的大数据视觉记录(印刷精装书及电子书)、“指挥控制中心”(Mission Control)体验、大数据追踪器、数据视觉化工具包、媒体和社交媒体推广……

“大数据人类面孔”智能手机应用,最初只有Andorid英文版,但已可见强烈的社交属性

以“人类的传感器组件”为例,里克·斯莫兰及其团队开发了一个“大数据人类面孔”的智能手机应用(五种语言的iOS和Android版本免费下载)来“测量我们的世界”。我在还只有Android下的英文版时安装了这个应用,回答了N多诸如“你认为死后会发生什么”、“从小养过/没养过宠物”等问题。在新加坡的“指挥控制中心”体验环节,介绍了从上百万参与调查者中分析的结果,譬如:

在“家庭”一节中,有“从小父母对我(偏严厉/宽容)”和“我比较(偏悲观/乐观)”等问题。分析发现,从小父母严厉的人,长大后性格会比较悲观。呃……这个,怎么说呢?这个项目的探索值得鼓励,但具体到分析结果,似乎只是印证了我们的常识而已,并没有体现出大数据最重要的特征——Value。

“大数据人类面孔”Android平台应用,显示9月底有10万多人参与调查,一周后随着活动的推广接近200万,现在已超过300万

作为“大数据人类面孔”的主赞助商,EMC公司高级副总裁Steve Leonard在提及该项目时虽然说到“作为人类活动的一部分, Youtube网站 24小时的视频,每60秒都在上传的视频,你认为是多少呢?”但是EMC公司旗下主打大数据分析的Greenplum事业部,在新加坡“指挥控制中心”展示的,主要是与Twitter合作的数据可视化成果。为达成这一目标,EMC在拉斯维加斯设了1000个节点的Greenplum集群,采集twitter信息,加以分析。用EMC的话说,信息量大的就像消防的水喉(firehose)。

乍看起来,分析Twitter的文本内容,要比图片或视频中的“人脸识别”要容易多了。不过,细想想,软件要识别单词如“Romney”、“Obama”容易,从人类语言的上下文中判断出情感和态度,实在太难。

就像同行的一位翻译朋友说的,“我爱奥巴马”和“我爱死奥巴马了”,其中的态度有何等区别,于软件分析来说,绝对是个难题。英文也好不到那里去,所以在Greenplum展示的Twitter例子中,也是侧重在挖掘选民发推与奥巴马或罗姆尼的关联度,谁被谈论的更多,但是无法作为支持率高低的依据。

大选结束后,《时代》杂志一篇分析奥巴马竞选团队在本届大选中所使用的全新数据分析战略的文章,为大数据的热潮再度加温。08年玩转社交,12年运用大数据,奥巴马的两次竞选完美的诠释了“与时俱进”,简直是潮爆了。有人说,这一次,玩转社交是奥巴马获取民意的前台表现;而在后台,是大数据支撑着奥巴马各种竞选策略的出台,决定他应该到哪些社交平台上去亮相。不过,从这篇文章里,我们很难看到大数据方法与社交网络上各种内容的深度挖掘,主要戏份似乎仍属于电话、电子邮件等相对“传统”的手段。

对Twitter上数据的这个统计倒是与大选后公布的相关信息比较吻合

也许有人会问,讲大数据的话题,为何抓住社交网络不放?这是因为,社交网络源源不断产生的各种文本、图片、视频信息,符合大数据的Volume和Variety(多样化)定义,足够Complexity(复杂),也需要Velocity(快速地)处理,但正如前面所分析的,人直接生成(如Twitter与Facebook文本)或含有复杂人类活动(如照片、视频)的数据,机器判断起来很有难度,受现有技术手段的限制,目前所能产生的Value(价值),还相对有限。

相比之下,各种传感器搜集、记录的简单信息(如位置信息,非视频、图像),既符合大数据公认的三V一C定义,也相对便于处理分析,已经体现出巨大的价值,这方面早有Splunk的成功和各种用户行为分析的尝试可证明。

较之以往企业关键的交易数据,这些数据的来源更为广泛(Volume)多样(Variety),相对也更为复杂(Complexity),但仍然可以放在各种数据库或数据仓库中,更多的运用新兴的技术手段快速(Velocity)处理,是传统的交易系统难以覆盖的。

换言之,大不大是次要的,“大数据”带给我们的启发,是需要注意传统企业交易数据库之外的,所有其他数据的价值——特别是很多传感器自动搜集的所谓“被动数据”。或许有些类型的数据中,无意义的垃圾信息较多,但要点是,每种类型的数据,都要考虑如何有效组织利用。

这些数据,当然也包括含义更为复杂的社交数据。也许眼下还产生不了足够的价值,但在大数据兴起、群雄逐鹿之际,各大厂商都忙着抢占地盘,在保证自家既有利益的同时,为将来的增长提前布局。今年的Oracle Open World有一页演示资料,几乎将大数据与社交数据划了等号,相对Oracle核心的数据库和数据仓库,处于数据金字塔的底端。而Steve Leonard的一段话也颇耐人寻味:

“想一想所有产生的信息。再想一想通常有100倍数量的信息只是在传输中,没有保存和保护,只是流经系统。每一个真正保存下来的信息,都是从几百倍的信息量中留存下来的。因此,我们所有人,每天都在产生巨大的数字足迹,或者数字影子。这是人作为个体,每天在干的事。”

你怎么看?反正我感觉,EMC的意思是,社交数据现在不能充分利用没关系,但一定要先保存下来,将来才有可能用得上……唔,这么说也没错,对你和EMC,都有好处。从这个角度出发,也可以部分解释,为何公认大数据的价值在于分析,但存储厂商却是热情最高的群体之一。

不管你是否接受大数据的概念,或者这个热潮能持续多久,围绕数据讲故事的“另类”战场已然开辟。厂商们从各自的出发点来讲故事,比拼的是谁能打动客户的内心,故事才算讲成功。然后?你懂的……

时间: 2024-09-29 01:47:49

大数据的人类面孔的相关文章

里克·斯莫兰:大数据掀人类文明革命 探索更多未知

里克•斯莫兰(Rick Smolan),全球著名摄影家,在他的镜头中,当下的"大数据",是人们的面孔,他期待透过来自一张张全球各地的鲜活面孔,阐述大数据对于人类文明发展的重大意义,并与人们一起探索更多的未知世界. 昨夜,有关"大数据人类面孔"项目的新闻被疯狂传播,这个项目是由<生活中的一天>系列从书作者里克•斯莫兰(Rick Smolan)创意和执导,在全球范围内开展,EMC公司赞助了这一项目. CNET记者http://www.aliyun.com/z

大数据时代 人类群体智慧的普罗米修斯之火已点燃

随着新型城镇化的加速推进和社会信息化的全面到来,各地"数字城市"."智慧城市"建设千帆竞发.百舸争流.智慧城市让生活更美好,如果它是阿莱克斯·彭特兰教授眼中的智慧城市.在他所著的<智慧城市>一书中,个体.组织好的想法经由彼此的参与和体验,基于大数据的挖掘和传播在其内部产生了一种行为转变与创新的推动力,这不仅重新塑造了个体和组织智慧,也将帮助我们理解和改善社会.如果再从更高层面基于人性洞察施以数据新政的话,一个具有更好的想法.更智慧同时也更人性化的社会空间

中国科学院院士郭华东:空间大数据构建人类共享的数字丝路

两千多年前,西汉张骞两次出使中亚,开辟出一条横贯东西.融通欧亚的通商之路--丝绸之路,以其连接的文明形态之多.跨越历史时期之长而光耀人类文明的史册.如今,中国再以"一带一路"为契机,依靠中国与有关国家既有的双多边机制,借助既有的.行之有效的区域合作平台. 6月14日,第九届中国云计算大会在京召开,中国科学院院士郭华东在会上发布了题为<空间大数据与数字丝路>的演讲,他认为"一带一路"是一个突破性.全局性的全球倡议和国家战略,具有范围广.周期长.领域宽等特点

大数据影响人类认知和行为习惯

中国社会科学院数量经济与技术经济研究所樊明太研究员指出:大数据为信息数字化.信息标准化和信息价值化创造了条件和基础,社会和经济主体可以据此进行数据相关性和因果关系分析.趋势预测和实验博弈,而在研究数据之间的相关关系时,最好还要注意其相应的机制和行为含义. 大数据既是新经济的新载体,也来自新经济的驱动. 一方面,大数据成为新经济的生产要素和资产,是新经济和互联网金融的新载体.按照2008年国民经济核算体系,GDP核算中首次把研发支出归入固定资产投资,从而使研发和软件归入知识产权产品.大数据归入数字

跨界讨论:大数据对人类意味着什么?

大数据.新技术将给人类带来又一次革命--所不同的是,其速度将较前几次更为猛烈和迅速. 日前在此间举行的2014夏季腾讯思享会上,来自科技.经济.社会.历史文化等领域的专家学者们,围绕"大数据"对人类社会的含义各抒已见,也达成上述共识. 问题:新技术会让我们更幸福更安全么? 日光之下并无新事.在弘道书院院长秋风看来,"从根本上说,我们确实处在一个科技革命正在发生的时代,但其实人类的历史其实都是始终围绕着资源的获取.分配,以及再分配展开的." 的确,在大数据出现之前,伴

大数据解码人类基因,精准医疗不再遥远!

很多人都思考过这样一个问题:假如生命只剩下三天,应该怎样去过? 从生命价值角度考虑,这只是一种"假设";但从生命本身来看,我们之所以这样假设,是因为人类对自己的生命充满了未知,谁都无法预测自己的生.老.病.死.而在信息技术推动下,人类基因其实可以告诉我们很多关乎生命的秘密. 从生命诞生的那天开始,每个人都有自己的基因,如果我们对这些潜在的基因数据进行分析,就能够精准的诊断出病源,比如:有人是癌症潜在患者,还有人是心.脑血管疾病易发人群--需要明确的是,知道这个结果并不重要,重要的是我们

大数据是人类又一个技术乌托邦

说到大数据,最近互联网各种热词很多,各种概念满天飞,其中不乏有忽悠一说.大数据到底是什么,会给我们生活带来哪些影响? [大数据是一个时代,"国家队"很及时] 去年底宣布的一个事情,将对未来有深远影响,现在大家还没意识到. 2013年11月19日,国家统计局与11家国内企业签署战略合作框架协议,合作内容涉及大数据应用统计标准,以及企业数据补充政府统计数据等领域.有分析称,在大数据国家战略日益强烈的情况下,统计局介入将进一步推动大数据的应用落地. 首先,大数据绝对不是忽悠,它是当下IT领域

大数据让人类真正了解自己

半年前,智能家居还是一个很火爆的话题.最近几个月来,很多涉水智能家居的厂商,变得异常低调起来.昔日火爆的小米路由器,还有热炒的360安全路由,都很少被媒体提及.种种迹象显示,智能家居这艘船已经触礁. 触礁后的智能家居这艘船虽不至于沉没,但这对智能家居的创业者已经形成了重创,最显着的标志就是,智能路由器的倡导者极路由,转型做基于路由的增值服务.在深圳,最早涉足智能路由器的一些厂商,也因销量不佳萌生退意. 相比之下,资金实力雄厚的小米.360们虽说不会退场,但也在谨慎前行.这一点,由两家对智能路由器

大数据是人类福音还是洪水猛兽?

亚力克 罗斯(Alec Ross),美国前国务卿希拉里的创新事务顾问.希拉里2016年总统竞选团队科技政策制定小组负责人.他是美国哥伦比亚大学国际和公共事务资深研究员.约翰 霍普金斯大学客座教授. 黄征宇,首位来自中国大陆的美国白宫学者.前国际开发署署长特别助理.金融科技服务及跨国投资专家.宇沃资本美国董事长.他在斯坦福大学获得经济学学士学位.工业工程学士学位和计算机科学硕士学位,还在哈佛商学院获得工商管理硕士学位. 黄征宇和罗斯曾在白宫有过共事的经历.如果希拉里最后入主白宫,罗斯很可能继续为美