《大数据时代》----重要理念摘抄

作者:维克托·迈尔-舍恩伯格

最近看了一本有历史的书《大数据时代》(拿研究成果来说三年前的已经是老成果了),作者对 我们这个大数据时代产生了很多颇有意思的洞见,为了保持原汁原味,我就直接原封不懂的把他们保留下来了,有空的话推荐大家去看看,顺便看看书中提到的电影《少数派报告》,和《点球成金》.部分摘抄难免断章取义,还请大家多参照原书。


一 拥抱“大数据时代”

我们的行为、位置,甚至身体生理数据等每一点变化都成为了可被记录和分析的数据。以此为基础,“反馈经济”(feedback economy)等新经济、新商业模式也正在开始形成。

二 实实在在大数据

只要发现了两个现象之间存在的显著相关性,就可以创造巨大的经济或社会效益

译者序 在路上·晃晃悠悠

某些观念有时会以惊人的力量给知识状况带来巨大的冲击。由于这些观念能一下子解决许多问题,所以,它们似乎将有希望解决所有基本问题,澄清所有不明了的疑点。每个人都想迅速地抓住它们,作为进入某种新实证科学的法宝,作为可以用来建构一个综合分析体系的概念轴心。这种‘宏大概念’突然流行起来,一时间把几乎所有的东西都挤到了一边。

因为越是万能的,就越是空洞的!


引言 一场生活、工作与思维的大变革

  1. 这是当今社会所独有的一种新型能力:
    以一种前所未有的方式,通过对海量数据进行分析,获得有巨大价值的产品和服务,或深刻的洞见。
  2. 最惊人的是,社会需要放弃它对因果关系的渴求,而仅需关注相关关系。也就是说只需要知道是什么,而不需要知道为什么。这就推翻了自古以来的惯例,而我们做决定和理解现实的最基本方式也将受到挑战。
  3. 事情真的在快速发展。人类存储信息量的增长速度比世界经济的增长速度快4倍,而计算机数据处理能力的增长速度则比世界经济的增长速度快9倍。
  4. 大数据的核心就是预测 !!!
  5. 大数据时代的3个转变:

    第一个转变就是,在大数据时代,我们可以分析更多的数据,有时候甚至可以处理和某个特别现象相关的所有数据,而不再依赖于随机采样。

    第二个改变就是,研究数据如此之多,以至于我们不再热衷于追求精确度。

    第三个转变因前两个转变而促成,即我们不再热衷于寻找因果关系。

  6. 大数据告诉我们“是什么”而不是“为什么”。在大数据时代,我们不必知道现象背后的原因,我们只要让数据自己发声。
  7. 大数据时代开启了一场寻宝游戏,而人们对于数据的看法以及对于由因果关系向相关关系转化时释放出的潜在价值的态度,正是主宰这场游戏的关键。

01 更多 不是随机样本,而是全体数据

  1. 采样分析的精确性随着采样随机性的增加而大幅提高,但与样本数量的增加关系不大。
  2. 采样忽视了细节考察。
  3. 这说明一般来说无论是针对一个小团体还是整个社会,多样性是有额外价值的。

02 更杂 不是精确性,而是混杂性

  1. 伟大的物理学家开尔文男爵曾说过:“测量就是认知。”
  2. 社会从“大数据”中所能得到的,并非来自运行更快的芯片或更好的算法,而是更多的数据。

03 更好 不是因果关系,而是相关关系

  1. 相关关系的核心是量化两个数据值之间的数理关系。相关关系强是指当一个数据值增加时,另一个数据值很有可能也会随之增加。
  2. 我们用数据驱动的关于大数据的相关关系分析法,取代了基于假想的易出错的方法。
  3. 通过找出一个关联物并监控它,我们就能预测未来。
  4. 用一系列的因果关系来验证各种猜想的传统研究范式已经不实用了,如今它已经被无需理论指导的纯粹的相关关系研究所取代。

04 数据化 一切皆可“量化”

  1. 庞大的数据库有着小数据库所没有的价值
  2. 大数据的核心就是挖掘出庞大的数据库独有的价值。
  3. “数据化”——这是指一种把现象转变为可制表分析的量化形式的过程。

  4. “文化组学”是一个计算机专业词汇,指的就是通过文本的定量分析来揭示人类行为和文化发展的趋势。
  5. 个人会偿还债务的可能性和其朋友会偿还债务的可能性呈正相关。正应了一句老话:物以类聚,人以群分。
  6. 2011年《科学》杂志上的一项研究显示,来自世界上不同文化背景的人们每天、每周的心情都遵循着相似的模式
  7. 这个它,就是无处不在的数据化。像其他的基础设施那样,它会给社会带来根本性的变革。

05 价值 取之不尽,用之不竭”的数据创新

  1. 数据的潜在价值有三种最为常见的释放方式:基本再利用、数据集整合和寻找“一份钱两份货”。而数据的折旧值、数据废气和开放数据则是更为独特的方式。
  2. 一位谷歌的员工说:“我们喜欢从大的‘噪音’数据集中吸取教训。”
  3. 事实上,政府才是大规模信息的原始采集者,并且还在与私营企业竞争他们所控制的大量数据。
  4. 奥巴马的指令促成了data.gov网站的建立,这是美国联邦政府的公开信息资料库。
  5. 公司账面价值和市场价值之间的差额被记为“无形资产”

06 角色定位 数据、技术与思维的三足鼎立

  1. 数据科学家是统计学家、软件程序员、图形设计师与作家的结合体。
  2. “如果你想成功,你不应该成为一个普通的、可被随意替代的人,你应该成为稀缺的、不可替代的那类人,”

  3. 如果一个人在下午四点左右给汽车加油的话,他很可能在接下来的一个小时内要去购物或者去餐馆吃饭,而这一个小时的花费大概在35~50美元之间。商家可能正需要这样的信息,因为这样它们就能在这个时间段的加油小票背面附上加油站附近商店的优惠券。
  4. 如果病人出院之后的医学干预是以解决病人的心理问题为重心,可能会更有利于他们的身体健康。这样就可以提供更好的健康服务,降低再入院率和医疗成本。
  5. 所谓大数据思维,是指一种意识,认为公开的数据一旦处理得当就能为千百万人急需解决的问题提供答案。
  6. 谁在这个大数据价值链中获益最大呢?现在看来,应该是那些拥有大数据思维或者说创新性思维的人。
  7. 现在,国外的外包公司使得基础的计算机编程技术越来越廉价,如今它甚至成为了世界贫困人口的致富驱动力,而不再代表着高端技术。
  8. 2011年,美国经济复苏开始放缓,虽然政客们强烈否定,但是这个信息还是被交通状况分析给披露了出来。Inrix的分析发现,上下班高峰时期的交通状况变好了,这也就说明失业率增加了,经济状况变差了。
  9. 影片《点球成金》改编自迈克尔·刘易斯的《魔球——逆境中制胜的智慧》。讲述的是一个真实的故事,介绍奥克兰运动家棒球队(又称绿帽队或白象队)总经理比利·比恩(Billy Beane)的经营哲学,描写了他抛弃几百年一直依赖的选择球员的传统惯例,采用了一种依靠电脑程序和数学模型分析比赛数据来选择球员的方法。
  10. 人类从依靠自身判断做决定到依靠数据做决定的转变,也是大数据做出的最大贡献之一。行业专家和技术专家的光芒都会因为统计学家和数据分析家的出现而变暗,因为后者不受旧观念的影响,能够聆听数据发出的声音。他们的判断建立在相关关系的基础上,没有受到偏见和成见的影响
  11. 随着大数据能够越来越精确地预测世界的事情以及我们所处的位置,我们可能还没有准备好接受它对我们的隐私和决策过程带来的影响。

07 风险 让数据主宰一切的隐忧

  1. 互联网的出现使得监视变得更容易、成本更低廉也更有用处。
  2. 大数据还会带来更多的威胁,毕竟,大数据的核心思想就是用规模剧增来改变现状。
  3. 大数据时代,很多数据在收集的时候并无意用作其他用途,而最终却产生了很多创新性的用途。
  4. 我们把谷歌街景作为一个例子来看,谷歌的图像采集车在很多国家采集了道路和房屋的图像(以及很多备受争议的数据)。但是,德国媒体和民众强烈地抗议了谷歌的行为,因为民众认为这些图片会帮助黑帮窃贼选择有利可图的目标。有的业主不希望他的房屋或花园出现在这些图片上,顶着巨大的压力,谷歌同意将他们的房屋或花园的影像模糊化。但是这种模糊化却起到了反作用,因为你可以在街景上看到这种有意识的模糊化,对盗贼来说,这又是一个此地无银三百两的例子。
  5. 约翰·安德顿(John Anderton)是华盛顿特区警局预防犯罪组的负责人。这是特别的一天,早上,他冲进了住在郊区的霍华德·马克斯(Howard Marks)的家中并逮捕了他,后者打算用剪刀刺杀他的妻子,因为他发现他妻子给他戴了“绿帽子”。安德顿又防止了一起暴力犯罪案件的发生。他大声说:“我以哥伦比亚特区预防犯罪科的名义逮捕你,你即将在今天谋杀你的妻子萨拉·马克斯(Sarah Marks)……”其他的警察开始控制霍华德,霍华德大喊冤枉,“我什么都没有做啊!”这是电影《少数派报告》(Minority Report)开始时的场景,这部电影描述的是一个未来可以准确预知的世界,而罪犯在实施犯罪前就已受到了惩罚。人们不是因为所做而受到惩罚,而是因为将做,即使他们事实上并没有犯罪。
  6. 在未来,我们不仅会失去选择的权利,而且会按照预测去行动。如果精准的预测成为现实的话,我们也就失去了自由意志,失去了自由选择生活的权利。
  7. 这是一个典型的滑坡,可能直接导致《少数派报告》中的情况成为现实——我们将生活在一个没有独立选择和自由意志的社会,在这里我们的道德指标将被预测系统所取代,个人一直受到集体意志的冲击。简单地说,如果一切都成为现实,大数据就会把我们禁锢在可能性之中。
  8. 谷歌就是在重蹈前人覆辙,过去美国的科技巨头们也把个人简历看得比个人能力重要。如果按谷歌的做法,其创始人都没有资格成为传奇性的贝尔实验室的经理,因为他们都在博士阶段辍学了;比尔·盖茨和马克·扎克伯格也都会被淘汰,因为他们都没有大学文凭。
  9. 史蒂夫·乔布斯多年来持续不断地改善Mac笔记本,依赖的可能是行业分析,但是他发行的iPod、iPhone和iPad靠的就不是数据,而是直觉——他依赖于他的第六感。当记者问及乔布斯苹果推出iPad之前做了多少市场调研时,他那个著名的回答是这样的:“没做!消费者没义务去了解自己想要什么。”

08 掌控 责任与自由并举的信息管理

  1. 永不磨灭的数字记录让人无法告别过去。我们的个人数据就像达摩克利斯之剑一样悬在头上,多年之后也会因为一件私事或者一次遗憾的购买记录而被翻出来再次刺痛我们。
  2. 大数据将要求一个新的人群来扮演这种角色,也许他们会被称作“算法师”。他们有两种形式:在机构外部工作的独立实体和机构内部的工作人员——正如公司有内部的会计人员和进行鉴证的外部审计师。
    结语 正在发生的未来
  3. 大数据为我们提供的不是最终答案,只是参考答案
  4. 对于善于运用科技解读未来的人来说,我们的未来不再是只字未书的画布,而是似乎已经着上了淡淡的墨痕。未来的可预知性似乎缩小了塑造命运的空间。潜在的可能性在概率的圣坛上被解剖。[插图]与此同时,大数据又意味着我们将永远受困于过去的行为,这些行为在预知我们下一步动作的预测过程中与我们作对,即我们永远无法逃避已发生的事。莎士比亚曾写道:“凡是过去,皆为序曲。”大数据通过运算将这句话铭刻,无论结果好坏——无论这句话是否会浇熄我们迎接下一个日出的热情,是否会打击我们留名于世的渴望。
  5. 没有什么是上天注定的,因为我们总能就手中的信息制定出相应的对策。
  6. 我们能收集和处理的数据只是世界上极其微小的一部分。这些信息不过是现实的投影——柏拉图洞穴上的阴影罢了。因为我们无法获得完美的信息,所以做出的预测本身就不可靠。但这也不代表预测就一定是错的,只是永远不能做到完善。这也并未否定大数据的判断,而只是让大数据发挥出了应有的作用。大数据提供的不是最终答案,只是参考答案,为我们提供暂时的帮助,以便等待更好的方法和答案出现。这也提醒我们在使用这个工具的时候,应当怀有谦恭之心,铭记人性之本。
时间: 2024-12-30 09:26:20

《大数据时代》----重要理念摘抄的相关文章

院士演讲:大数据时代的位置服务

 摘要: 中国工程院院士李德毅院士为大家带来<大数据时代的位置服务>的主题演讲,李德毅院士同时指出:大数据引发新理念,实践中的研究也许胜过研究中的实践,较多的数据也许胜过较好的算法  以"智慧城市与移动信息化"为主题的"第七届中国电子政务高峰论坛"于2013年6月23日在北京大学英杰交流中心阳光大厅隆重举办.本次论坛由工业和信息化部信息化推进司指导,北京大学信息化与信息管理研究中心主办,中央机构编制委员会办公室电子政务中心.北大CIO班教务办公室协办,C

“棱镜门”为人们反思大数据时代个人隐私与公共安全提供一个范本

摘要: 随着美国中情局前雇员斯诺登将美国的棱镜计划公之于众,全球舆论鼎沸,斯诺登是不是叛国者,美国政府是否违宪,诸如此类的讨论热火朝天.棱镜门为人们反思大数据时代的个人隐 随着美国中情局前雇员斯诺登将美国的"棱镜"计划公之于众,全球舆论鼎沸,斯诺登是不是叛国者,美国政府是否违宪,诸如此类的讨论热火朝天."棱镜门"为人们反思大数据时代的个人隐私与公共安全提供了一个范本,斯诺登潜逃.引渡以及政治庇护这样的情节增加了戏剧性,却无碍于反思这个问题的内核. 经过一段时间的辩论

在大数据时代公民权与政府之间的真实关系

摘要: 随着美国中情局前雇员斯诺登将美国的棱镜计划公之于众,全球舆论鼎沸,斯诺登是不是叛国者,美国政府是否违宪,诸如此类的讨论热火朝天.棱镜门为人们反思大数据时代的个人隐 随着美国中情局前雇员斯诺登将美国的"棱镜"计划公之于众,全球舆论鼎沸,斯诺登是不是叛国者,美国政府是否违宪,诸如此类的讨论热火朝天."棱镜门"为人们反思大数据时代的个人隐私与公共安全提供了一个范本,斯诺登潜逃.引渡以及政治庇护这样的情节增加了戏剧性,却无碍于反思这个问题的内核. 经过一段时间的辩论

IDC:中国金融行业正步入大数据时代初级阶段

3月25日,IDC研究显示,当前,数据是重要资产的理念已经在中国金融行业形成共识,数据的真正价值在于能够洞察企业内部规律,数据的洞察力成为金融企业的核心竞争力.在中国金融行业信息化建设中,与信息加工密切相关的大数据管理正逐渐成为与核心业务系统建设.渠道建设和前置建设同等重要的领域. 经过多年的发展与积累,目前中国的大型商业银行和保险公司的数据量已经达到100TB以上级别,并且非结构化数据量在迅速增长.基于IDC对大数据的定义(通常数据量大于100TB, 数据量年增率大于60%,数据采集是高速数据

大数据时代的教育宏观治理体制现代化变革

随着云计算.大数据等新技术逐渐兴起,人类社会的信息化进程由计算机时代.互联网时代逐步迈向大数据时代.大数据作为新一代信息技术的集中反映,被视为具有无穷潜力的新兴产业领域,能为我国实现跨越式发展提供宝贵机会.[1]大数据正在深刻地改变着人们的思维方式和行为方式,也正在孕育着教育治理体系和教育治理能力的现代化变革.由于制度问题带有根本性.全局性.稳定性和长期性,随着大数据时代的到来,推进我国教育宏观治理体制在大数据时代的现代化变革,不仅是一个全新而重要的时代命题,而且具有重要的理论价值和现实意义.

大数据时代的教育革命

"人类历史中的许多灾难都源于这样一个事实,即社会的变化总是远远落后于技术的变化.这是不难理解的,因为人们十分自然地欢迎和采纳那些能提高生产率和生活水平的新技术,却拒绝接受新技术所带来的社会变化--因为采纳新思想.新制度和新做法总是令人不快的." --斯塔夫里阿诺斯<世界通史> 在当今的信息时代,云技术.物联网和基于二者的大数据技术正推动教育发生着变革.未来教育在互联网等技术的作用下变的越来越个性化,通过对大数据技术的应用将有利于个性化教育,标准化的学习内容由学生自组织学习,

茅明睿:大数据时代的城市规划【大数据100分】

我是一名非典型规划师,我很少做具体的规划设计项目,在北京规划院工作近15年,入行之初遇到了数字城市建设大潮,参与了数字北京的先发工程--数字绿化带,群里的@王国良的武大吉奥公司就是当年主要的合作伙伴. 2000-2010年从事的工作都围绕以地理信息系统.遥感.三维仿真.数据建库为核心的数字规划技术体系的构建,为北京的规划工作建立数据基础和GIS应用基础.2010年开始,基于10年的基础积累,我们开始把视线放到数据挖掘,城市定量研究或者说城市计算上来. 群里都是高大上的技术大牛.上市公司老总.参与

驱动智能制造的大数据时代

驱动智能制造 中国制造正在悄然发生着积极变化. 一组来源于国家统计局的最新数据显示:2016年1-5月,规模以上工业增加值同比增长5.9%,工业总体保持平稳增长.同样,高新技术制造业和装备制造业增加值继续保持较快增长,占规模以上工业增加值的比重已分别达到12.1%和32.5%. 毫无疑问,"中国制造"已成为世界上认知度最高的标签之一.历经30多年的高速发展,作为促进世界经济发展的重要力量,中国这个"世界工厂"的角色已经越来越重要. 相伴而生的是,智能制造作为中国制造

创新大数据时代网络舆情引导

大数据时代,网络舆情产生速度快,数据体量大,而且异常复杂.在新的网络舆情环境下,我国的网络舆情引导受到了前所未有的挑战,同时大数据也为网络舆情引导带来了新的机遇.在新形势下,应积极树立大数据理念,深入挖掘和合理利用大数据在网络舆情引导中的价值,创新网络舆情引导思维,抓住网络舆情的本质特征,探索网络舆情演变的内在规律,尽快建立起适应新形势的网络舆情引导机制. 分析海量信息 预测发展趋势 大数据使网络舆情预测成为现实.对已经出现的网络舆情予以监测,这是网络舆情引导的传统做法,也是以往网络舆情管理的起