“大数据”时代,什么是数据分析做不了的?

不久之前我曾与一位大型银行的首席执行官一同用餐。他正在考虑是否要退出意大利市场,因为经济形势不景气,而且未来很可能出现一场欧元危机。

这位CEO手下的经济学家描绘出一片惨淡的景象,并且计算出经济低迷对公司意味着什么。但是最终,他还是在自己价值观念的指引下做出了决定。

这家银行在意大利已经有了几十年的历史。他不希望意大利人觉得他的银行只能同甘不能共苦。他不希望银行的员工认为他们在时局艰难之际会弃甲而逃。他决定留在意大利,不管未来有什么危机都要坚持下去,即便付出短期代价也在所不惜。

做决策之时他并没有忘记那些数据,但最终他采用了另一种不同的思维方式。当然,他是正确的。商业建立在信任之上。信任是一种披着情感外衣的互惠主义。在困境中做出正确决策的人和机构能够赢得自尊和他人的尊敬,这种感情上的东西是非常宝贵的,即便它不能为数据所捕捉和反映。

这个故事反映出了数据分析的长处和局限。目前这一历史时期最大的创新就在于,我们的生活现在由收集数据的计算机调控着。在这个时代,头脑无法理解的复杂情况,数据可以帮我们解读其中的含义。数据可以弥补我们对直觉的过分自信,数据可以减轻欲望对知觉的扭曲程度。

但有,些事情是“大数据”不擅长的,下面我会一一道来:

数据不懂社交。大脑在数学方面很差劲(不信请迅速心算一下437的平方根是多少),但是大脑懂得社会认知。人们擅长反射彼此的情绪状态,擅长侦测出不合作的行为,擅长用情绪为事物赋予价值。

计算机数据分析擅长的是测量社会交往的“量”而非“质”。网络科学家可以测量出你在76%的时间里与6名同事的社交互动情况,但是他们不可能捕捉到你心底对于那些一年才见2次的儿时玩伴的感情,更不必说但丁对于仅有两面之缘的贝阿特丽斯的感情了。因此,在社交关系的决策中,不要愚蠢到放弃头脑中那台充满魔力的机器,而去相信你办工作上的那台机器。

数据不懂背景。人类的决策不是离散的事件,而是镶嵌在时间序列和背景之中的。经过数百万年的演化,人脑已经变得善于处理这样的现实。人们擅长讲述交织了多重原因和多重背景的故事。数据分析则不懂得如何叙事,也不懂得思维的浮现过程。即便是一部普普通通的小说,数据分析也无法解释其中的思路。

数据会制造出更大的“干草垛”。这一观点是由纳西姆•塔勒布(Nassim Taleb,著名商业思想家,著有《黑天鹅:如何应对不可知的未来》等书作)提出的。随着我们掌握的数据越来越多,可以发现的统计上显著的相关关系也就越来越多。这些相关关系中,有很多都是没有实际意义的,在真正解决问题时很可能将人引入歧途。这种欺骗性会随着数据的增多而指数级地增长。在这个庞大的“干草垛”里,我们要找的那根针被越埋越深。大数据时代的特征之一就是,“重大”发现的数量被数据扩张带来的噪音所淹没。

大数据无法解决大问题。如果你只想分析哪些邮件可以带来最多的竞选资金赞助,你可以做一个随机控制实验。但假设目标是刺激衰退期的经济形势,你就不可能找到一个平行世界中的社会来当对照组。最佳的经济刺激手段到底是什么?人们对此争论不休,尽管数据像海浪一般涌来,就我所知,这场辩论中尚未有哪位主要“辩手”因为参考了数据分析而改变立场的。

数据偏爱潮流,忽视杰作。当大量个体对某种文化产品迅速产生兴趣时,数据分析可以敏锐地侦测到这种趋势。但是,一些重要的(也是有收益的)产品在一开始就被数据摈弃了,仅仅因为它们的特异之处不为人所熟知。

数据掩盖了价值观念。我最近读到一本有着精彩标题的学术专著——《‘原始数据’只是一种修辞》。书中的要点之一就是,数据从来都不可能是“原始”的,数据总是依照某人的倾向和价值观念而被构建出来的。数据分析的结果看似客观公正,但其实价值选择贯穿了从构建到解读的全过程。

这篇文章并不是要批评大数据不是一种伟大的工具。只是,和任何一种工具一样,大数据有拿手强项,也有不擅长的领域。正如耶鲁大学的爱德华•图弗特教授(Edward Tufte)所说:“这个世界的有趣之处,远胜任何一门学科。”

本文作者:来园的桃子

来源:51CTO

时间: 2024-07-31 07:42:44

“大数据”时代,什么是数据分析做不了的?的相关文章

大数据时代“标签效应”可以用来做什么

有没有注意这样一个有趣的现象:很多人常以"屌丝"自嘲,却在别人眼中成了"高富帅".出自90后口中的"大叔",却成为70后眼里的"小青年".这就是标签,同样人或事,不同人就会给出不一样的标签. 在标签面前,每个人都不能"幸免".从小到大一定被贴过各种不同的标签,还记得让你印象最深的标签是什么?你认为最能代表自己的标签又是什么? 起初,标签是为了区分个体差异,以便形成和保存清晰的记忆. 刚出生时,人先被区分性别

大数据时代来了

大数据是当今人们热议的一个词语,人们纷纷在探讨大数据所带来的科技方面.技术方面的进步,及其所蕴含的巨大价值.甚至有人把大数据形容为未来世界的石油,更有人宣称掌握了大数据的人可以像上帝一样来俯瞰整个世界.<大数据时代>一书的作者维克托在大数据时代下的投资蓝海论坛上认为2020年世界将进入大数据时代.那么到底什么是大数据,它具有什么特征,大数据对于产业.特别是普通公众有什么影响,我们在探讨大数据的时候还应该注意什么问题,参加第36期科学家与媒体面对面活动的专家将对此一一进行解读. 世界可以被看作是

大数据时代 每家公司都要有大数据部门吗?

在大数据时代 每家公司都要有大数据部门吗?如果这个问题换做是:在电气时代,每家公司都要有个发电厂吗?是不是会更好回答一些? 事实上每一种重大技术的出现,都会对产业产生大的变化.在蒸汽时代,采矿机采用蒸汽机后,会带来生产效率的极大提升,而轮船加上蒸汽机,再也不需要靠风才能航海了.在电气时代,电灯代替了蜡烛,电报代替了快马送信,而报纸也被广播和电视所侵蚀. 可以说是现有产业加上新技术,形成了新产业. 我们回过头来看这两次工业革命,生产蒸汽机的企业只有少量几家,而发电的企业在美国也只有通用电气和西屋电

在大数据时代,每家公司都要有大数据部门吗?

如果这个问题换做是:在电气时代,每家公司都要有个发电厂吗?是不是会更好回答一些? 事实上每一种重大技术的出现,都会对产业产生大的变化.在蒸汽时代,采矿机采用蒸汽机后,会带来生产效率的极大提升,而轮船加上蒸汽机,再也不需要靠风才能航海了.在电气时代,电灯代替了蜡烛,电报代替了快马送信,而报纸也被广播和电视所侵蚀. 可以说是现有产业加上新技术,形成了新产业. 我们回过头来看这两次工业革命,生产蒸汽机的企业只有少量几家,而发电的企业在美国也只有通用电气和西屋电气.并不是每家企业都要从事这些基础设施的研

在大数据时代 每家公司都要组建大数据部门吗?

在大数据时代 每家公司都要有大数据部门吗?如果这个问题换做是:在电气时代,每家公司都要有个发电厂吗?是不是会更好回答一些? 事实上每一种重大技术的出现,都会对产业产生大的变化.在蒸汽时代,采矿机采用蒸汽机后,会带来生产效率的极大提升,而轮船加上蒸汽机,再也不需要靠风才能航海了.在电气时代,电灯代替了蜡烛,电报代替了快马送信,而报纸也被广播和电视所侵蚀. 可以说是现有产业加上新技术,形成了新产业. 我们回过头来看这两次工业革命,生产蒸汽机的企业只有少量几家,而发电的企业在美国也只有通用电气和西屋电

别让大数据时代给坑了

阿根廷打伊朗,各种盘口的赔率高度一致,都是两球起步,阿根廷不搞进五六个球,大家无利可图,想一夜暴富实现中国梦,只能剑走偏锋.阿根廷输五个球,两块钱的回报上亿,但没几个人肯怒砸那两块,觉得庄家开出这样的盘口有拿伊朗队开涮之意,顺便调戏一下彩民的智商. 大数据时代,大家功课做得足,个个贼精明.世界杯还没开张,32强全队和个人的身价以及五花八门的资料信息网络上应有尽有,想八卦的,想投资的,都可以找来参考.前三名的巴西全队5.07亿欧元,西班牙5.04亿,阿根廷4.75亿,后两名的伊朗2190万,htt

大数据时代的记忆与遗忘

斯塔西·施耐德(Stacy Snyder)曾经的梦想是成为一名教师.2006年夏天,她完成了获取教师资格证书所需的课程并通过了所有考试;然而她的梦想却在即将实现之时突然破灭她所在学校的一位负责人告诉她,她无法取得教师资格证书. 学校负责人展示了一张她上传到自己的MySpace页面上的照片,照片上的她戴着一顶海盗帽,正端着一只塑料杯饮酒.这张照片是她向自己朋友展示的,甚至可能只是搞怪,但学校认为这样的行为与教师的标准不符.斯塔西向学校承诺将这张图片从网上删除,然而为时已晚照片早已被搜索引擎索引,并

做大数据时代的“淘宝”平台,IBM数据分析战略浮出水面

IBM的研究人员在展示通过数据分析提高城市交通水平 下个世纪是大数据的世纪,是从IT走向认知计算的时代.在IT时代成就了一家超级平台,这就是淘宝,而认知时代要做的是数据的生意,那是否有一个类似淘宝的超级数据平台呢?IBM正在做这件事情. IBM在全球布局了40多个基于Softlayer的数据中心,以Bluemix作为其主力云端开发平台, 在之上通过合作和收购网罗了从Twitter到The Weather Company以及这些年投入250亿美金收购的Cognos.SPSS.ILOG.Algo等诸

《数据分析变革:大数据时代精准决策之道》一2.3 纵观全局看待大数据

2.3 纵观全局看待大数据 大数据是如何适应现状的?为什么说大数据具有特殊性?大数据以后发展方向是什么?这些问题都很常见,大多数企业都会碰到.就像所有新鲜事物一样,关于大数据究竟能干哪些事情,肯定也会出现混淆和不一致的地方.本节探讨的正是那些必须理解的主题和概念,这样我们才能纵观全局,全面地思考大数据.把大数据放到正确的背景下思考,这样在使用大数据做运营型分析时,会更容易达成目标. 2.3.1 与其说是大数据,还不如说是差异化数据 正如本章先前所述,大数据让人兴奋的原因之一是它包含了新的信息.但