大数据不是万精油:数据分析做不到的事

不久之前我曾与一位大型银行的">首席执行官一同用餐。他正在考虑是否要退出意大利市场,因为920.html">经济形势不景气,而且未来很可能出现一场欧元危机。

这位CEO手下的经济学家描绘出一片惨淡的景象,并且计算出经济低迷对公司意味着什么。但是最终,他还是在自己价值观念的指引下做出了决定。

这家银行在意大利已经有了几十年的历史。他不希望意大利人觉得他的银行只能同甘不能共苦。他不希望银行的员工认为他们在时局艰难之际会弃甲而逃。他决定留在意大利,不管未来有什么危机都要坚持下去,即便付出短期代价也在所不惜。

做决策之时他并没有忘记那些数据,但最终他采用了另一种不同的思维方式。当然,他是正确的。商业建立在信任之上。信任是一种披着情感外衣的互惠主义。在困境中做出正确决策的人和机构能够赢得自尊和他人的尊敬,这种感情上的东西是非常宝贵的,即便它不能为数据所捕捉和反映。

这个故事反映出了数据分析的长处和局限。目前这一历史时期最大的创新就在于,我们的生活现在由收集数据的计算机调控着。在这个时代,头脑无法理解的复杂情况,数据可以帮我们解读其中的含义。数据可以弥补我们对直觉的过分自信,数据可以减轻欲望对知觉的扭曲程度。

但有,些事情是“大数据”不擅长的,下面我会一一道来:

数据不懂社交。大脑在数学方面很差劲(不信请迅速心算一下437的平方根是多少),但是大脑懂得社会认知。人们擅长反射彼此的情绪状态,擅长侦测出不合作的行为,擅长用情绪为事物赋予价值。

计算机数据分析擅长的是测量社会交往的“量”而非“质”。网络科学家可以测量出你在76%的时间里与6名同事的社交互动情况,但是他们不可能捕捉到你心底对于那些一年才见2次的儿时玩伴的感情,更不必说但丁对于仅有两面之缘的贝阿特丽斯的感情了。因此,在社交关系的决策中,不要愚蠢到放弃头脑中那台充满魔力的机器,而去相信你办工作上的那台机器。

数据不懂背景。人类的决策不是离散的事件,而是镶嵌在时间序列和背景之中的。经过数百万年的演化,人脑已经变得善于处理这样的现实。人们擅长讲述交织了多重原因和多重背景的故事。数据分析则不懂得如何叙事,也不懂得思维的浮现过程。即便是一部普普通通的小说,数据分析也无法解释其中的思路。

数据会制造出更大的“干草垛”。这一观点是由纳西姆?塔勒布(Nassim Taleb,著名商业思想家,著有《黑天鹅:如何应对不可知的未来》等书作)提出的。随着我们掌握的数据越来越多,可以发现的统计上显著的相关关系也就越来越多。这些相关关系中,有很多都是没有实际意义的,在真正解决问题时很可能将人引入歧途。这种欺骗性会随着数据的增多而指数级地增长。在这个庞大的“干草垛”里,我们要找的那根针被越埋越深。大数据时代的特征之一就是,“重大”发现的数量被数据扩张带来的噪音所淹没。

大数据无法解决大问题。如果你只想分析哪些邮件可以带来最多的竞选资金赞助,你可以做一个随机控制实验。但假设目标是刺激衰退期的经济形势,你就不可能找到一个平行世界中的社会来当对照组。最佳的经济刺激手段到底是什么?人们对此争论不休,尽管数据像海浪一般涌来,就我所知,这场辩论中尚未有哪位主要“辩手”因为参考了数据分析而改变立场的。

数据偏爱潮流,忽视杰作。当大量个体对某种文化产品迅速产生兴趣时,数据分析可以敏锐地侦测到这种趋势。但是,一些重要的(也是有收益的)产品在一开始就被数据摈弃了,仅仅因为它们的特异之处不为人所熟知。

数据掩盖了价值观念。我最近读到一本有着精彩标题的学术专著——《‘原始数据’只是一种修辞》。书中的要点之一就是,数据从来都不可能是“原始”的,数据总是依照某人的倾向和价值观念而被构建出来的。数据分析的结果看似客观公正,但其实价值选择贯穿了从构建到解读的全过程。

这篇文章并不是要批评大数据不是一种伟大的工具。只是,和任何一种工具一样,大数据有拿手强项,也有不擅长的领域。正如耶鲁大学的爱德华?图弗特教授(Edward Tufte)所说:“这个世界的有趣之处,远胜任何一门学科。”

(责任编辑:fumingli)

时间: 2024-07-31 09:30:47

大数据不是万精油:数据分析做不到的事的相关文章

云计算、大数据能为反恐做什么?

文章讲的是云计算.大数据能为反恐做什么,11月25日召开的国家反恐怖工作领导小组专题会议上,公安部部长郭声琨提出,要运用大数据.云计算技术打击恐怖行为."从海量的人流.物流.信息流.资金流中及时发现涉恐线索,做到预警在先.预防在前.敌动我知.先发制敌." 大数据如何反恐呢?全球各国的成功经验值得借鉴.8月底,美国国防部长卡特(Ash Carter)赴硅谷招募顶尖科技人才.近年来的信息大爆炸使得五角大楼不得不将目光聚焦高科技硅谷,以打击反恐.美国中央情报局的CTO Gus Hunt则表示

大数据时代 市场人员需要了解的五件事

本文讲的是大数据时代 市场人员需要了解的五件事,大多数的市场人员正在认同这样一种观念,即:大数据不仅是一个技术上的挑战,而且对于更加有效地开展市场活动也有着极大的益处. 只要公司已经部署好了市场推广与宣传的战略,那么专业人员就意识到:通过更好地把握客户的信息与动机,并且对所付诸的努力加以评估的话,他们就更加有可能使市场推广活动取得良好的效果. 因此,作为一名市场人员,当你已经跨越过了如何去搜集大数据的初期阶段之后,你就要明白如何去管理和衡量好这些数据,以及它们对于业务发展的重要性.为了帮助这样一

想学数据科学?你可以做这五件事!

文章讲的是想学数据科学?你可以做这五件事,换工作绝非易事,但总有一些因素会非常吸引你,比如一份前景客观的薪资或一个不需要竞争的环境.在这个公平的数据科学时代,接下来这份不错的公开报告将会清楚地告诉你为什么不尝试迈出下一步呢?做好这五件事情,你可能可以找到一份满意的数据科学工作! 1.理解数据科学是什么 就学习而言,微软的网站可能不是你第一个想到的地方,但可以肯定地是,几个月前,软件巨头发布了一系列非常棒的关于数据科学初学者的五个短视频.每个视频都集中在某一个方面,例如"五个数据科学问题的答案&q

除了加强风控,大数据还能为FinTech做些什么?

近几年,处于互联网和科技风口上的许多事物都飞起来了.似乎一夜之间,云计算火了,人工智能火了,虚拟现实火了,O2O,P2P,以及支撑这些新鲜事物发展的大数据一并火了起来.不过,我们知道,大数据其实并非近几年刚刚萌生的新鲜事物,实际上,早在上个世纪80年代初期,世界著名未来学家阿尔文· 托夫勒就在<第三次浪潮>一书中预言,大数据极有可能是继农业革命和工业革命后的"第三次浪潮". 到了90年代,随着美国信息高速公路计划的推行,IT技术的对人类生活的发展越来越重要,大数据信息的价值

微软发布大数据愿景 推动数据分析平民化

当其他厂商还更多地将注意力放在"如何利用大数据进行产业转型和企业创新"时,微软已经开始展示如何利用正确的技术和工具,让每位普通大众都能从大数据中直观获取洞察. 10月18日,微软全球高级副总裁.大中华区董事长兼首席执行官贺乐斌在"大数据媒体日"上对记者表示,"与其他公司处理大数据的方式不同,微软主张从发现数据.分析数据和对数据进行可视化的处理这三种方式来思考大数据的使用.微软大数据愿景是,希望基于标准化的产品,使所有人都能够在任何时间任何地点利用数据,并更

大数据时代“标签效应”可以用来做什么

有没有注意这样一个有趣的现象:很多人常以"屌丝"自嘲,却在别人眼中成了"高富帅".出自90后口中的"大叔",却成为70后眼里的"小青年".这就是标签,同样人或事,不同人就会给出不一样的标签. 在标签面前,每个人都不能"幸免".从小到大一定被贴过各种不同的标签,还记得让你印象最深的标签是什么?你认为最能代表自己的标签又是什么? 起初,标签是为了区分个体差异,以便形成和保存清晰的记忆. 刚出生时,人先被区分性别

快上车!老司机带你走进“大数据及阿里云数据分析平台”

本次培训讲座是由阿里巴巴创新中心·优客工场(天津于家堡)和天津云顶云科技有限公司联合举办,由阿里云大数据高级认证讲师--宋亚奇博士主讲,旨在通过对大数据及阿里云数加平台的介绍,帮助天津市企业更好的理解大数据,以及更合理有效的利用数据资源促进公司业务发展. | 目标人群 | 1.管理人员以及技术/市场/销售人员2.有兴趣了解大数据的所有人员 | 培训相关 | 时间:2017年5月27日,14:00-17:00地点:天津自贸试验区新华路3678号新金融大厦11层[阿里巴巴创新中心·优客工场(天津于家

建首个国家大数据综合试验区 贵州怎么做?

两会期间,国家"十三五"计划实施的100个重大工程及项目备受关注,贵州大数据综合试验区建设位列其中,这也是全国首个获批建设的国家级大数据综合试验区.发展大数据,贵州有着什么优势?做了哪些准备? 贵州大数据朋友圈越来越大 "大数据既要高大上,也要接地气."在十二届全国人大四次会议贵州代表团开放日上,贵州省委书记陈敏尔强调,大数据是一个产业,可以创造很多产品和服务,既有大数据的积聚.整理.处理等,涉及高端技术.创新商业模式等,也包括农村电商和呼叫服务,这类产业既能广泛吸

昆明暴恐事件 大数据为反恐能做什么?

昆明暴恐事件全国震惊.互联网时代,恐怖分子的一举一动,其实都可能会留下数据痕迹,热门的"大数据",对提升中国反恐能力有何作为? "今天任何人做事都不可能完全避开互联网,恐怖分子也不例外,敌人都用上了互联网手段, 国家反恐必须用上大数据分析了."阿里巴巴集团首席技术官.阿里云总裁王坚说. 王坚举例,要是一个地方突然卖掉很多刀子,这些数据一旦上网就可能有价值. 他说,火车票在中国已经实名制且联网了,这一项就可以让中国成为数据大国.如果每天把火车票.旅馆住宿和飞机票信息分