处理信息方式大改革,大数据时代到了!

互联网将人类交流的方式进行重塑,而大数据却不一样:它代表着社会处理信息方式的改革。随着时间的推移,大数据可能会改变我们思考世界的方式

题:大数据的兴起(作者英国《经济学家》杂志数据编辑肯尼思·内尔·丘基尔牛津大学互联网研究院互联网管理与法规教授维克托·梅耶-舍恩伯洛)

每个人都知道互联网改变了企业经营、政府运作以及人们生活的方式。但是一种新的、不那么明显的技术趋势却有着同样巨大的变革能力,那就是“大数据”(BigData)。大数据的趋势发端于下面这个事实:如今到处传播的信息比以往任何时候都多出了许多,而且这一趋势正在应用于非同寻常的新用途。大数据与互联网截然不同,虽然互联网使数据的收集和共享方便了很多。大数据的意义并不仅仅是通信:其本质是我们可以从大量的信息中学习到从较少量的信息中无法获取的东西。

将改变人类思考方式

在公元前3世纪,亚历山大图书馆被认为收藏了全部的人类知识。而如果把今天全世界的信息平分给每一个活着的人,那么每个人拥有的信息量将足足超过当年亚历山大图书馆全部藏书的320倍。如果把所有这些信息刻到光盘上并且分5摞叠起来的话,那么这些光盘可以一直堆到月球。

这种数据爆炸是相对新鲜的现象。

仅仅在2000年的时候,全世界全部的存储信息中还只有1/4是数字化的,其余的都保存在纸张、胶片和其他模拟介质上。但是由于数字数据数量的增长十分迅速——几乎每三年就翻一番,这种情形很快发生了逆转。今天,在所有存储信息中只有不到2%是非数字化的。

鉴于如此悬殊的比例,人们免不了在理解大数据的时候仅仅从数量上进行考虑。然而这将会产生误导。大数据的另一个特征是它能够用数据来表现世界的众多层面,而这些层面以往从来都没有被量化过--这种特征可以被称为“数据化”。例如,位置信息的数据化最早是由于经纬度的发明,而最近又有了GPS。当计算机对几个世纪内的书籍进行取样时,文字便成了被处理的数据。甚至连友谊和爱好也被数据化了——例如通过脸谱网。借助于廉价的电脑内存、高性能处理器、智能算法、聪明软件以及从基本统计学中借鉴来的数学知识,这样的一类数据正在被应用于难以置信的新用途中。这种新方法并不是试图“教会”计算机去从事驾驶或翻译这样的事情,而是要向计算机输入足够多的信息,从而使它们能够推断概率,例如交通指示绿灯亮、红灯不亮的概率,或者是在特定语境下“light”一词意为“光”而不是“轻”的概率。

以这种方式对大量数据加以利用,要求我们在三个方面彻底改变对数据的态度。第一是收集和使用大量数据,而不是像统计学家们在过去100多年里所做的那样,只满足于少量的数据或样本。第二是抛弃我们对有条理和纯净的数据的偏爱,转而接受杂乱无章——在越来越多的情形下,少许的不精确是可以容忍的。第三,在许多场合,我们需要放弃对事情原委的追究,而代之以对相关性的接纳。利用大数据,而不是试图弄懂发动机抛锚或药物副作用消失的确切原因,研究人员可以收集和分析大量有关此类事件的信息及一切相关素材,找出可能有助于预测未来事件发生的规律。大数据有助于回答是什么、而不是为什么的问题——通常有这样的回答就足够了。

互联网重塑了人类交流的方式。大数据则不同:它标志着社会处理信息方式的变化。随着时间的推移,大数据可能会改变我们思考世界的方式。随着我们利用越来越多的数据来理解事情和作出决定,我们很可能会发现生活的许多层面是随机的、而不是确定的。

从因果关系到相关性我们看待数据的方式的两个变化——从局部变为全部以及从纯净变为凌乱——催生了第三个变化:从因果关系到相关性。这代表着告别总是试图了解世界运转方式背后深层原因的态度,而走向仅仅需要弄清现象之间的联系以及利用这些信息来解决问题。

加拿大的研究人员正在开发一种大数据手段,以便能在明显症状出现之前发现早产婴儿体内的感染。通过把包括心率、血压、呼吸和血氧水平等16种生命体征转化成每秒1000多个数据点的信息流,他们已经能够找到极其轻微的变化与较为严重的问题之间的相关性。最终,这项技术将使医生能够提前采取行动,从而拯救生命。

大数据所产生的影响将远远超出医学和消费品的范畴:它将深远地改变政府的运作方式和政治的性质。在推动经济增长、提供公共服务或进行战争等方面,那些能够有效利用大数据的人将拥有胜过别人的巨大优势。迄今为止,最令人兴奋的成果出现在市级,在这个级别上获取数据和利用这些信息进行实验要容易一些。纽约市长迈克尔·布隆伯格(他本人就是靠着数据行业发家的)率先进行了一项努力:该市正在利用大数据改善公共服务和降低成本。其中一个例子就是新的火灾预防策略。

非法在屋内打隔断的建筑物着火的可能性比其他建筑物高很多。纽约市每年接到2.5万宗有关房屋住得过于拥挤的投诉,但市里只有200名处理投诉的巡视员。市长办公室一个分析专家小组觉得大数据可以帮助解决这一需求与资源的落差。该小组建立了一个市内全部90万座建筑物的数据库,并在其中加入市里19个部门所收集到的数据:欠税扣押记录、水电使用异常、缴费拖欠、服务切断、救护车使用、当地犯罪率、鼠患投诉,诸如此类。接下来,他们将这一数据库与过去5年中按严重程度排列的建筑物着火记录进行比较,希望找出相关性。果然,建筑物类型和建造年份是与火灾相关的因素。不过,一个没怎么预料到的结果是,获得外砖墙施工许可的建筑物与较低的严重火灾发生率之间存在相关性。

利用所有这些数据,该小组建立了一个可以帮助他们确定哪些住房拥挤投诉需要紧急处理的系统。他们所记录的建筑物的各种特征数据都不是导致火灾的原因,但这些数据与火灾隐患的增加或降低存在相关性。这种知识被证明是极具价值的:

过去房屋巡视员出现场时签发房屋腾空令的比例只有13%,在采用新办法之后,这个比例上升到了70% ——效率大大提高了。

大数据也正在帮助提高民主政府的透明度。一个建立在“开放数据”概念上的运动已经形成,其诉求超出了目前在发达民主国家已经十分常见的信息自由法。这一运动的支持者呼吁政府把手上浩如烟海的普通数据向公众开放。

与此同时,在政府推动使用大数据的同时,它们还需要保护公众免受不正当市场垄断的侵害。管理大数据的法规甚至可能成为国家间的角斗场。出于对反托拉斯和保护隐私的关切,欧洲各国政府已经在严查谷歌公司。脸谱网可能会成为世界各地类似行动的打击目标,因为它持有太多的个人数据。

外交官们应该准备好围绕是否像对待自由贸易那样对待信息流动展开交锋。

大数据势必将改变我们生活、工作和思考的方式。建立在强调因果关系基础上的世界观正在受到推崇相关性的挑战。知识的占有曾经意味着对历史的了解,而现在却意味着预言未来的能力。解决大数据所带来的挑战将不是易事。

在决策越来越多地受到数据支配的世界里,人、直觉或是不顾事实的蛮干还有什么用武之地呢?如果每个人都求助于数据,都利用大数据工具的话,那么不可预测性--例如人类的本能、冒险、意外甚至失误——也许将会成为差异的关键。

如果真是这样的话,那么需要专门为人为因素辟出一席之地--即为直觉、常识、运气留出空间,以确保它们不会被数据和机器生成的答案挤走。

这将对社会进步的观念产生重要影响。大数据使我们可以更快地进行实验,对更多的线索展开探索。这些优势应该会导致更多创新的产生。但在有些时候,发明的火花迸发是数据所无法表现的。倘若亨利·福特当初求助于大数据算法系统来研究顾客希望得到的东西,算法系统得到的答案会是“更快的马匹”,也就不会有福特著名的汽车生产线了。在大数据的世界里,需要培养的恰恰是与人类关系最密切的特性——创造力、直觉和上进心,因为人的聪明才智才是进步的源泉。

大数据是一种资源和一种工具。它的目的是告知,而不是解释;它意在促进理解,但仍然会导致误解——关键在于人们对它的掌握程度。我们必须以一种不仅欣赏其力量,而且承认其局限的态度来接纳这种技术。

时间: 2024-10-24 02:57:45

处理信息方式大改革,大数据时代到了!的相关文章

大数据时代:信息公开与公众参与

编者按 2016年全国环境互联网会议9月8日在福建省厦门市召开,会议主题为"大数据时代:信息公开与公众参与".本版今日摘登部分演讲内容,以飨读者. 高度重视并善加利用新媒体 全国政协会议新闻发言人. 中国传媒大学媒介与公共事务研究院名誉院长 王国庆 党的十八大以来,在中央强调建设生态文明的大背景下,我们讨论这个主题非常重要,尤其是环保领域,信息公开和公众参与越来越重要.我想围绕这个话题谈几点想法. 信息公开既是公众了解环保工作的重要途径,也是环保部门的职责和义务.当今社会舆论环境.媒体

大数据时代个人信息保护的新思路

随着全球范围内大数据产业的全面推进,公民隐私及个人信息保护问题也日益凸显,传统个人信息保护框架在大数据时代遭遇严峻冲击,如何寻求个人信息的合理及有效保护成为各国普遍面临的难题.个人信息不仅承载着个人权益,也在很大程度上牵涉到商业机密.企业信誉.国家安全与信息主权,因此,应妥善协调产业发展与个人信息保护,积极探索顺应时代特征的新思路,构建安全.信任的大数据产业环境. 一.大数据时代个人信息保护的新挑战 大数据时代,个人信息保护面临前所未有的新挑战.首先,随着移动互联网的普及和智能穿戴等物联网设备的

大数据时代要改革 企业该如何应对?

大数据的发展已成必然趋势,在大背景的影响下,企业要想发展必然就要跟上大数据的改革步伐,这样才能在市场中更好的发展.然而,对于大数据的改革,任何企业都想抢占先机,却不知道该如何去抢.尤其是对其改变,该如何应对也成为企业头疼的问题. 实际上,早在很早之前,业内专业人士就对此做了很详细的分析.而对于大数据的深入分析和研究发现,要想挖掘有用信息为企业所用,即必须要关注市场,关注数据处理和分析方法.首先,在零散.破碎.局部的数据基础上,对这些数据进行综合的分析整理,挖掘数据中深藏的价值内容,以更好的方式帮

大数据时代的政府改革与转型

编者按:从户籍制度改革,到不动产登记制度改革,再到征信体系建设,近期加速推进的诸多改革,都对数据库建设提出了更高的目标要求,一些改革更是以大数据为基础.大数据已经成为政府改革和转型的技术支撑. 大数据是指无法在可容忍的时间内用传统IT技术和软硬件工具对其进行感知.获取.管理和服务的数据集合.近年来,随着云计算等新型数据处理技术不断成熟,大数据也不断被应用到政府日常管理和为民服务中,并成为推动政府政务公开.完善服务.依法行政的重要力量. 但同时,部门利益割据造成的信息孤岛,也成为大数据进一步发展的

信息过载的大数据时代,大数据推荐系统如何搭建,趋势何方

同比增长随着大数据时代的来临,网络中的信息量呈现指数式增长,随之带来了信息过载问题.推荐系统是解决信息过载最有效的方式之一,大数据推荐系统已经逐渐成为信息领域的研究热点.介绍了推荐系统的产生及其在大数据时代的发展现状.推荐系统的领域需求和系统架构.大数据环境下推荐系统的挑战及其关键技术.开源的大数据推荐软件.大数据推荐系统研究面临的问题,最后探讨了大数据推荐系统的未来发展趋势. 1 推荐系统与网络大数据 随着科技与信息技术的迅猛发展,社会进入了一个全新的高度信息化的时代,互联网无处不在,影响了人

大数据时代 消费者个人信息还要“裸奔”多久?

办卡填个人信息就像"政审",购物后促销短信"轰炸"不堪其扰--日常生活中,不少消费者苦于此类"消费一次.打扰半年"的体验,常常无力应对. 大数据时代,面对消费领域个人信息的无端"泄露",消费者维权面临哪些"梗阻"?各个方面又当如何规范?在"3·15"国际消费者权益日前夕,记者进行了深入采访,相关人士呼吁,加大对消费者个人信息的保护,依法打击贩卖个人信息行为. 信息泄露频发 一不小心就成&

大数据时代社交网络个人信息安全问题研究

随着科技的发展,现代社会产生和捕获的数据量迅猛增长,统计数据量以PB(1024TB)级趋势加增,我们已经迈进了大数据时代.社交网络风生水起,越来越多的人愿意在这个交互的时代分享自己的见闻感受,而我们通过电脑.手机等电子设备在网上进行的每一个操作,都被服务器记录了下来,社交网络中的个人信息也成为大数据时代商家博弈的一大焦点.在开发社交网络中个人信息潜在价值的同时,如何保证个人信息安全,保证个人信息不被非法收集和不当利用,以及如何提高用户对于个人信息的可控性是大数据时代亟待解决的新问题. 一.大数据

大数据时代,拿什么终结信息乱象

高考考生即将迎来填报志愿环节,也是教育骗局最猖獗之时.个人信息泄露,早就不是新鲜事.但值得关注的是,随着移动互联技术的快速发展,信息泄露已呈全方位态势. 日前,广东省教育厅发布<广东省普通高等学校一览表>,并曝光带"广东/广州"字样的12所假冒大学.羊城晚报记者据此调查发现,与"虚假大学""野鸡大学"联系密切的考生个人信息买卖现象依然嚣张.在以"高考名单""招生资源"等为名的QQ群中,有群主称千

大数据时代 如何保障征信信息合规使用?

在大数据时代,汇聚了个人当前信用价值的各项信息越来越受到各行业的重视,其背后的价值不可估量.目前商业银行及各类金融机构越来越多地将业务延伸至互联网,相比于传统的线下与客户面对面沟通的场景,商业银行及各类金融机构现在更多采用征信.大数据服务机构提供的数据产品来协助设计并开展互联网创新业务.例如通过个人的社交.消费.行为类数据对个人进行身份画像.信用评估等.但无论是个人信用信息还是报告类产品,由于涉及个人隐私,根据<征信业管理条例>要求: 除依法公开的个人信息外,采集个人信息应当经信息主体本人同意