美国学者质疑“大数据”理论

编者:2012年底问世的《大数据时代:生活、工作与思维的大变革》,以一个带有预见性的新概念,引起全球热议,至今仍居各大图书排行榜前位,作者维克托·迈尔—舍恩伯格也因之被誉为“大数据时代的预言家”。舆论认为,“大数据”颠覆了千百年来人类的思维惯例,对人类的认知和与世界的交流方式提出了全新的挑战。同时,因“大数据”理论引发的激辩和质疑也络绎不绝……

近日,美国两本著名学术杂志同时关注大数据话题:《外交》杂志5/6月刊将《大数据的兴起》一文作为封面文章,认为大数据将改变人类思考和看待世界的方式。而《外交政策》杂志则在网站上发表">微软研究院首席研究员、麻省理工学院公民媒体中心客座教授凯特·克劳福德的文章《对大数据的再思考》,从五个方面对大数据理论提出质疑。

大数据带来变革

《大数据的兴起》一文作者是近 期 引 发 热 议 的 专 著 《 大 数 据 时代:生活、工作与思维的大变革》作者肯尼思·库克耶和维克托·迈尔—舍恩伯格。在文章中,库克耶和舍恩伯格肯定了大数据对社会的巨大变革能力,称大数据不仅将改变人们的生活和工作,而且将改变人类认识和思考世界的方式。

两人认为,随着技术环境的变化,一方面世界出现“数据爆炸”的现象,另一方面人类处理数据的能力也大为增强。由此,人们对待数 据 的 方 式 出 现 了 三 个 变 化 : 第一,人们处理的数据从样本数据变成全部数据;第二,由于是全样本数据,人们不得不接受数据的混杂性 , 而 放 弃 对 精 确 性 的 追 求 ; 第三,人类通过对大数据的处理,放弃对因果关系的渴求,转而关注相互联系。这一切代表着人类告别总是试图了解世界运转方式背后深层原因的态度,而走向仅仅需要弄清现象之间的联系以及利用这些信息来解决问题。

《大数据的兴起》列举了大数据 在 医 学 、 消 费 品 领 域 的 应 用 实例。但作者同时认为,大数据的影响力绝不仅限于商业范畴,它将深远地改变政府的运作方式和政治的性质。他们在文章中写道,“在推动经济增长、提供公共服务或进行战争等方面,那些能够有效利用大数据的人将拥有胜过别人的巨大优势”。不过,两位作者承认,大数据应用在公共服务领域比较成功的案例出现在城市这一级,因为在这个级别上获取数据和利用信息进行试验要容易一些。

学者提出五质疑

克劳福德的文章认为,大数据是当前的时髦术语,但人们是否能依靠海量数据揭示人类行为的规律仍值得怀疑。她针对大数据理论从五个方面提出质疑。

第一,大数据中存在偏见和盲区。大数据的倡导者认为,“有了足 够 的 数 据 , 数 字 就 可 以 自 己 说话”。但克劳福德认为,数字无法自己说话。不论其规模有多大,数据集归根到底是人类设计的产物,而大数据的工具并不能使人们摆脱曲解、隔阂和错误的成见。当大数据试图反映人类所生活的社会化世界时,认清这些因素就尤为重要。偏见和盲区存在于大数据中,从大数据得出的结论并不比人为的意见更客观。

第二,大数据在一定程度上可以使城市变得更加智能和高效,但具体效果如何取决于市政官员对数据 及 其 局 限 性 的 了 解 。 克 劳 福 德称,大数据的倡导者认为,“大数据将使我们的城市变得更加智能和高效”,在一定程度上确实如此。但另一方面,数据在生成或采集的过程中并不都是平等的,大数据集存在“信号问题”即某些民众和社区被忽略或未得到充分代表。因此,要想运用好大数据,市政官员必须对数据及其局限性有充分了解。

第 三 , 大 数 据 可 能 导 致 基 于群 体 的 歧 视 。 大 数 据 的 倡 导 者 认为 , “ 大 数 据 对 不 同 的 社 会 群 体不 会 厚 此 薄 彼 ” , 其 理 由 是 , 原始 数 据 的 分 析 是 在 大 规 模 水 平 上进 行 的 , 因 而 避 免 了 基 于 群 体 的歧 视 。 但 克 劳 福 德 认 为 , 实 际 情况 并 非 如 此 。 由 于 大 数 据 能 够 作出 有 关 群 体 不 同 行 为 方 式 的 论断 , 而 且 其 使 用 的 主 要 目 的 是 把不 同 个 体 归 入 不 同 的 群 体 中 , 因此大数据不仅不会避免群体歧视,还可能加重这一趋势。

第四,隐私泄露是大数据应用中的重要问题。克劳福德认为,大数据的倡导者关于“大数据是匿名的,因此它不会侵犯我们的隐私”一说大错特错。尽管许多大数据的提 供 者 尽 力 消 除 数 据 中 的 个 体 身份,但身份重新被确认的风险仍然很大。鉴于利用大量公共数据集可以推断很多信息,这使泄露个人隐私成为“日益严重的担忧”。

第五,大数据为科学研究提供了新的途径,但不可断言“大数据是科学的未来”。克劳福德称,大数据的研究方法只能统计某件事情发生的频率和相关性,但不能得出因果关系。将大数据策略和小数据研究相结合也许是更好的科学研究途径。

库克耶和舍恩伯格也认识到了大 数 据 理 论 的 一 些 内 在 瑕 疵 。 在《大数据的兴起》一文结尾,两位作者表示,大数据是一种资源和工具 , 它 的 目 的 是 告 知 , 而 不 是 解释;它意在促进理解,但可能导致误解关键在于人们对它的掌握程度。他们认为,人们必须用一种不仅欣赏其力量、而且承认其局限的态度来接纳大数据。

(卢朵宝)

(责任编辑:蒙遗善)

时间: 2024-08-22 14:10:30

美国学者质疑“大数据”理论的相关文章

《大数据时代》引发全球热议,遭美国学者质疑

近日,美国两本着名学术杂志同时关注大数据话题:<外交>杂志5/6月刊将<大数据的兴起>一文作为封面文章,认为大数据将改变人类思考和看待世界的方式.而<外交政策>杂志则在网站上发表微软研究院首席研究员.麻省理工学院公民媒体中心客座教授凯特·克劳福德的文章<对大数据的再思考>,从五个方面对大数据理论提出质疑. 大数据带来变革 <大数据的兴起>一文作者是近期引发热议的专着<大数据时代:生活.工作与思维的大变革>作者肯尼思·库克耶和维克托·迈

清华大学软件学院党委书记、副院长王建民:工业大数据理论与实践

5月5日,"2017中国工业大数据大会·钱塘峰会"在杭州国际博览中心举办.本届峰会以"数据驱动创新 融合引领变革"为主题,围绕工业大数据展开分享与交流.清华大学软件学院党委书记.副院长王建民,以"工业大数据理论与实践"为题探讨了自己的看法.   以下为嘉宾演讲实录: 在两三年前,当时讲到工业大数据的话,很多人会有挑战.工业里有大数据吗?工业的大数据在哪儿?今天通过大家的努力研讨,大家对工业大数据非常支持认可并且在应用.我就简单汇报一下自己对工业大

侯小强:盛大文学编剧公司与大数据理论天生匹配

[TechWeb报道]4月17日消息,盛大文学日前成立编剧公司,CEO侯小强表示,盛大文学编剧公司与"大数据"理论天生匹配,将基于大数据创作剧本. 侯小强以美国最近走红的电视剧<纸牌屋>为例,介绍了依旧"大数据"创作电视剧本的思路.据了解,<纸牌屋>是美国最大的在线视频租赁公司NetFlex分析了3000万次用户体验后决定花1亿美元购进版权进行全新改变的作品.NetFlex公司分析了400万条用户评价,300万次用户搜索操作,以及用户观看视频

美国将发展大数据提升到战略层面

2012年3月,美国奥巴马政府宣布推出"大数据的研究和发展计划".该计划涉及美国国家科学基金.美国国家卫生研究院.美国能源部.美国国防部.美国国防部高级研究计划局.美国地质勘探局等6个联邦政府部门,承诺将投资两亿多美元,大力推动和改善与大数据相关的收集.组织和分析工具及技术,以推进从大量的.复杂的数据集合中获取知识和洞见的能力. 美国奥巴马政府宣布投资大数据领域,是大数据从商业行为上升到国家战略的分水岭,表明大数据正式提升到战略层面,大数据在经济社会各个层面.各个领域都开始受到重视.

大数据理论遇上新兴分析工具 挑战无处不在

对于大数据,有观点认为有了足够大的数据集,分析的统计方法就是非必要的.我们将其称为"N等价于所有"的理论.而按这样的说法,抽样和推理都是浪费时间.拥有了所有的数据,就只需让数据说话. 虽然"N等价于所有"的理论在短短几年前还是革命性的产物,作为正在上线的新颖而且更具潜在价值的分析方法,它很快就过时了.对于将所有数据对应一个给定主题这样的概念,物联网(IoT)分析和认知计算这对大数据的流行观点带来了挑战,而且这也要求那些分析专家重新对他们的做法进行评估. "

向美国推销中国制造 大数据物流力拼阿里

在竞争异常激烈的中国电商市场,外来的巨头亚马逊一度被外界认为会被阿里巴巴和京东"消灭"掉,但亚马逊却用技术和全球化思维让持有这一观点的人大跌眼镜. 随着跨境电商的兴起,亚马逊中国借助全球供应商资源和一流的跨国物流配送能力,开始迈入全新发展阶段.根据中国电子商务研究中心发布的<2015年度中国电子商务市场数据监测报告>显示,2015年中国跨境电商交易规模为5.4万亿,同比增长28.6%,其中亚马逊.天猫国际和京东等都处于第一梯队. 除了电商,亚马逊在企业级市场上玩得风生水起,

美国医疗中心利用大数据预测病人发病

ZDNet至顶网软件频道消息:据<彭博商业周刊>报道,美国卡罗莱纳州的医疗中心试图利用大数据的优势,在病人发病之前提供医疗方案. 美国医疗高科技可提前预测谁会生病(图片来自bizjournals) 美国医疗服务提供商CarolinasHealthCare在卡罗莱纳州拥有多家医疗机构,他们正在购买病人的消费数据和其他信息,将大数据纳入预测模型,对病人进行风险评估,以提前应对任何健康问题.据了解,CarolinasHealthCare关注的数据包括病人的购物历史等信息,例如可以通过了解其是否购买过

美国白宫发布大数据政府报告

综合IT专业媒体报道,美国政府近日发布大数据政府报告,主要内容如下: 在今年一月份,美国总统奥巴马谈到改革美国的监视的时候,他要求一个专家小组花费90天调查使用"大数据"技术的潜在后果.现在,一份68页的详尽报告已经出台.报告一再强调,大数据技术可以改进美国经济.政府和公众生活.但该报告同样花了不少的篇幅警告大数据应用的一些潜在缺点,其引言称: "这份报告的一个显著的发现是,大数据分析有潜力湮没长期的公民权利,保护个人信息如何用于住房.信贷.就业.健康.教育和市场."

对话美国科学家,大数据到底怎么影响我们的生活?

大信息大爆炸的今天,不讨论大数据这个话题似乎就是跟不上时代.从医药到教育,再到其他各个领域,大数据充斥着现代社会的每个角落.而我们最关心的还是大数据最终将以什么样的形式,怎么样影响甚至改变我们的生活.来听听四位专家告诉你大数据到底有多少可能. 丹·瓦格纳 Dan Wagner Civis Analytics 的创始人兼首席执行官 你曾经说过,希望用大数据解决全球最大的问题.你最想解决的问题是什么? Dan Wagner:我们主要关注两个领域:教育和健康.在教育领域,我们专注于利用个人层面的数据,