用“大数据”的眼光看世界看未来

大数据,即将成为石油、矿产类的新能源、新生产要素和巨大的经济资产,开启一次重大的时代转型,预示着新一波生产率增长和消费者赢余浪潮的到来。它是管理国家的手段、商务经营的法宝、未来就职的热门,可能还是发达国家下一轮全球化竞争中的利器。

2013被称为大数据元年。

关于大数据的图书市面上就有20多种,其中最突出的是维克托·迈尔-舍恩伯格的《大数据时代——生活、工作与思维的大变革》(浙江人民出版社出版)。

舍恩伯格是最早洞见大数据时代发展趋势的数据科学家之一,早在2010年就在《经济学人》上发布了对大数据应用的前瞻性研究,他的咨询客户包括微软、惠普和IBM等全球顶级企业,被誉为“大数据商业应用第一人”。

下面,我们循着舍恩伯格《大数据时代》的脉络,了解一下大数据究竟意味着什么。

世界的本质是数据

2009年,甲型H1N1流感爆发的前几周,谷歌的工程师在《自然》杂志上预测大型流感传播即将到来。不需分发口腔试纸或调查医生,他们建立了一个系统,在每天收到的数十亿条搜索指令中关注特定检索词条(如“哪些是治疗咳嗽和发热的药物”等)的频繁使用与流感传播之间的联系,及时判断流感从哪里传出。而疾控中心要到流感爆发一两周后才能确定。

谷歌的判断就建立在大数据基础上:即以一种特定方式,对海量数据进行分析,获得有巨大价值的产品和服务或深刻的洞见。

传统经济统计原则是以抽样表征总体,人类对世界的认识,很像打着手电筒,清晰地看到脚下的某一块石头;而大数据时代的信息统计包含的样本量是如此之大,如同一盏灯笼,可能细部不够准确,但能照出整个环境和道路通向哪里。那些不很准确的最原始、看似平凡无用的信息,经过恰当的分析,让我们越来越接近正确——

中英人寿通过分析爱好、常浏览的网页、常看的节目、收入估计等好几百种生活方式数据,找出更有可能患高血压、糖尿病和抑郁症的人。申请者不必提供血液和尿样,这个纯数据分析法只需5美元,可使保险公司在每人身上节省125美元;

网站内容设置依赖于数据而不是编辑的新闻敏感度,数据比有经验的记者更能揭示哪些是符合大众口味的新闻;

网上教育公司深度研究它收集的所有数据,比如学生重放讲座视频的哪个片断,从而找出不明晰或很吸引人的地方反馈给设计课程的团队……

这很像一场寻宝游戏,通过数据科学家的巧手,这些数据的潜在价值被挖掘出来,远超其最基本的用途。数据发出了自己的声音,带给我们惊喜。有了大数据的帮助,我们会意识到本质上世界是由信息构成的。

挖掘处理数据是“大数据”的真谛

一个男人冲进塔吉特商店,气愤地对经理说:“我女儿还是高中生,你们却给她邮寄婴儿服和婴儿床的优惠券,你们是在鼓励她怀孕吗?”几天后,当经理打电话致歉时,男人语气变平和了:“我女儿的预产期是8月份,是我完全没有意识到这个事件的发生,该说抱歉的是我。”原来,塔吉特的分析团队发现,怀孕3个月的女性会买无香乳液,之后会买镁、钙、锌等营养品,有20多种关联物能使零售商较准确地预测预产期,寄出相应的优惠券招徕顾客。

在大数据时代我们可以预测未来。古代能够预言天气的人,往往被视为通神,而今需要的只是海量信息的占有和分析。

大数据不仅仅在于数据之大,挖掘处理才是大数据关键所在。一要有收集及开发数据的特定工具,二要有集黑客和定量分析员优长于一身的数据科学家。

随着相关技术的成熟,公共部门和私人企业过去积累的大量“垃圾”数据有可能重焕光彩。比如用微观居民和企业用电量数据指导智能电网建设、用交通事故和犯罪数据指导警力布局、用消费和税收数据指导收入分配、用客流量数据指导铁路和民航调配、用互联网关键词传播数据进行流行病预防等等。

沃尔玛可谓是大数据的玩家。在对每个顾客购物篮中的物品、具体购买时间甚至购买日的天气分析后,研究人员发现,跟尿布一起搭配购买最多的竟是啤酒,而季节性飓风到来之前,POP-Tarts蛋挞被大量买走。于是沃尔玛把啤酒和尿布捆绑销售;在飓风警报发出后,将蛋挞和手电筒等放在一起。过去,总部人员需要先有想法,再收集数据来验证;如今,他们可以预测到当A出现,B即将出现,这已经足够珍贵。他们不再探求难以捉摸的因果关系,转而关注事物的相关关系。

搜集数据是否涉及隐私

一天早晨,警察冲进霍华德·马科斯的家,后者正打算用剪刀刺杀他的妻子,因为他发现妻子给他戴了绿帽子。警察开始控制霍华德,霍华德大喊冤枉:“我什么都没做啊!”这是电影《少数派报告》中的场景。不受限制的大数据分析可能也会导致这样的场景:罪责的判定是基于对个人未来行为的预测。

这场即将到来的数据革命,将给企业、国家的发展模式带来前所未有的革新与挑战,必须从战略高度来认识。美国总统科学技术顾问委员会主席霍尔德伦说,像美国历史上对超级计算和互联网的投资一样,大数据计划将对美国的创新、科研、教育和国防产生深远的影响。美国的每一项立法和计划,都有一个数据库和信息管理系统与之对应。2012年3月,美国宣布将投入2亿美元启动“大数据发展研究计划”,以推动大数据的提取、存储、分析、共享和可视化。通用电气也将投资15亿美元在旧金山建立一个全球软件和分析中心,拟雇佣科学家400名。如同工业革命要开放物质交易、流通一样,开放、流通的数据是时代趋势的需要。

但滥用大数据也会带来危险,当零星存在的数据被汇总,危机就出现了——不仅仅是隐私的泄露,还包括了被预知的可能性——这些能预测我们可能生病、拖欠还款和犯罪的算法会使我们无法购买医疗保险、无法贷款,甚至在实施犯罪前被预先逮捕。过于依赖数据,我们同样会受到局限:因为数据量过于庞大,做出决策的将是机器而不是人类。

《大数据时代》一书的译者、电子科技大学教授周涛提醒说,大数据也不是能解决所有问题的万能法宝。哈佛大学访问学者冯煦明指出:大数据之于传统经济统计,是补充,而非替代。基于抽样、调查、汇总等程序获得的数据仍将在经济分析和政策制定中发挥重要的作用。横向来看,传统统计方法在经济增长、税收、贸易、收入分配等领域的统计上具有主导优势,而大数据在物价、通货膨胀、失业率、消费等方面的统计上更具有优势。

总之,这本书以丰富的事例生动展现了大数据的光芒如何照亮整个世界,而严谨平实的叙述框架又令人了解到大数据各个技术性方面。对大数据的了解令我们对未来增添了憧憬和信心,难怪宽带资本董事长田溯宁称它是“我看到的最好的大数据著作”。

(责任编辑:蒙遗善)

时间: 2024-09-16 20:39:17

用“大数据”的眼光看世界看未来的相关文章

百度世界大数据论坛:百度大数据助你感知世界

2014百度世界大数据论坛于9月3日在北京举行,会上既有来自百度大数据的专家介绍百度的大数据产品和发展经验,也有来自各行各业的精英介绍他们与百度在实际合作中的心得. 百度大数据的价值--感知世界 百度大数据部高级总监朱永忠讲到百度大数据给行业带来的最大价值即时感知世界.所谓感知世界就是让机器能够模拟人脑的方式处理感知到的所有信息.而能够像人脑那样处理感知的信息之后,随之给行业带来的价值即是类似人脑活动的思考和决策. 对此百度推出的产品是百度大脑.百度大脑依托图像识别技术.语音识别技术.手术识别技

苏萌:大数据新媒体与商业的未来

"2012中国技术商业领袖峰会"于2012年11月16-17日在北京举行.上图为北京大学光华管理学院新媒体营销研究中心执行主任.市场营销系副教授苏萌. 以下为演讲实录: 苏萌:首先谢谢<IT经理世界>的黎争社长的热情邀请,今天跟大家分享一下我们对大数据和新媒体的研究和看法.在座很多都是国内非常资深的营销学者和业界经验丰富的专业人士,请大家批评指正. 我会用5分钟时间过一下数据驱动的管理发展的简史,这条线从1940年的决策支持到70年的数据库,到88年的数据仓库,到93年的连

谁掌握云计算和大数据,谁就掌控未来

河南 互联网用户全国排第六,中部排第一 昨日,河南省首届互联网大会在郑州国际会展中心隆重 举行.大会由河南省通信管理局.省互联网协会主办,主题为"信息编织美好中原经济区,网络构筑智慧郑州航空港". 昨日的会议还发布了<河南省互联发展状况报告>.截至2013年7月底,河南省互联网用户总数达到5248万户,全国排名第六位,中部排名第一位.备案网站总数15万个,全国排名第八位,中部排名第一位.互联网呈现出快速发展趋势,用户数和业务量增长迅猛,互联网基础设施建设加快推进,应用日趋广

华大基因BGI Online负责人金鑫主讲:基因大数据的起源、现状与未来| 硬创公开课

随着基因测序价格以超摩尔定律的势态下降,其被广泛应用于基因组学研究.临床诊断以及多种疾病个性化治疗等领域.对此,业内人士认为,当今基因测序行业面临最大的挑战已不再是基因测序技术,而是处理巨大的数据量以及如何从巨大数据中获取临床指导.据雷锋网了解,生物信息分析服务是目前业界公认的最具发掘潜力以及盈利能力的环节,但目前国内还处于起步阶段. 那么,基因数据与其他数据有何异同?处理基因数据又何难点和挑战?基因数据的未来是怎样的?本次公开课,雷锋网AI掘金志栏目邀请了华大基因研发中心副总监金鑫,带来<基因

大数据的现在 互联网金融的未来

随着大数据的深入发展,大数据在金融领域的应用也越来越普遍,纵然大数据对互联网金融的发展具有至关重要的作用,但我们应清醒的认识到,大数据的一个前提条件就是要数据全量在线,要真正发挥大数据的作用,数据的开放和共享非常重要. 当前不少互联网http://www.aliyun.com/zixun/aggregation/34950.html">金融公司,包括传统的金融机构,号称所谓开展了互联网金融业务,但由于受数据的开放.共享和挖掘能力的局限,其业务也并不理想. 譬如,由于受金融机构内部的传统部门

谁拥有了大数据,谁就拥有了未来

也许你没注意到,一天之中,互联网产生的全部内容可以刻满1.68亿张DVD,发出的邮件有2940亿封之多,发出的社区帖子达200万个,相当于<时代>杂志770年的文字量--全世界储存的信息如果记录在光盘上,这些光盘叠加起来,高度超过从地球到月球走一趟. 这些数字的含义不言而喻:随着现代信息技术的迅猛发展,一个大规模产生.分享和应用数据的时代正在徐徐开启.大数据与云计算.物联网等新技术相结合,正在迅疾并日益深刻地改变人们的生产生活方式,"互联网+"对提升产业乃至地区综合竞争力都

从大数据的应用现状,看企业运营决策该何去何从

上次说到从不可预见到可预见,从收益到风险:内部数据以及外部数据.那么今天说说公司的实际数据使用现状,我们以最对数据敏感的电商为例子. 数据,围城 在淘宝中,很多的店主认为"如果不到万级订单量,在基数这么低的情况下,数据分析有什么用处?所以,根本不需要大数据.只有淘宝本身.京东.亚马逊这样级别的电商公司才有海量数据,也才有资格去谈论及使用大数据." 可是事实上,现在的电商企业日均能达到十万单的少之又少,在有海量数据积累的基础上,还要有一套优秀的BI系统,而且必须是根据公司的产品特性及供应

大数据应用如何影响世界

"大数据决策"成为一种新的决策方式 依据大数据进行决策,从数据中获取价值,让数据主导决策,是一种前所未有的决策方式,并正在推动着人类信息管理准则的重新定位.随着大数据分析和预测性分析对管理决策影响力的逐渐加大,依靠直觉做决定的状况将会被彻底改变. 2009年爆发的甲型H1N1流感,谷歌公司就是通过观察人们在网上搜索的大量记录,在流感爆发的几周前,就判断出流感是从哪里传播出来的,从而使公共卫生机构的官员获得了极有价值的数据信息,并做出有针对性的行动决策,而这比疾控中心的判断,提前了一两周

大数据是重新思考世界的方式

在8日举行的亚洲教育论坛上,大数据之父.<大数据时代>的作者.牛津大学教授维克托·迈尔·舍恩伯格再次来到成都,和亚洲教育界人士畅谈他对创新的理解.在舍恩伯格看来,创新的关键,应该是改善教育制度,改善教学方式."创新不是一种技术,创新是一种人文,我们要实现成功,它的关键因素不是技术,而是创造在人文生态当中的人文气息." 大数据并不是一种技术,大数据也不是一种新型的工具.舍恩伯格认为,大数据是一种对于现实的新型的观点.观察方式,对于世界的重新认识和思考,以及我们要前进的方向的重