透视美国大数据爆发全景

      大数据在美国已经发展到如火如荼的地步。政府部门、IT企业、零售、医疗等传统行业以及互联网、软硬 件公司将大数据能够带来的方方面面都展示在人们面前尽管这些在美国还被认为是“初级阶段”放眼望去,大数据时代已经撼动了美国社会的方方面面,从商业科技 到医疗、政府、教育、经济、人文以及社会的其他各个领域。

       因为其背后的沿承和爆发的背景如此重要,目前科技界和学术界的人 士甚至预测,大数据作为一项技术和理念本身,很有可能避免成为一下硅谷臭名昭着的“技术成熟度曲线”的受害者。这个曲线曾经昭示,一个新技术诞生后,经过 新闻媒体和学术会议的大肆宣传,该趋势将一下子跌到谷底,许多创业公司变得岌岌可危,直到发展到一定阶段再重新爆发这个曲线云计算曾经且正在经历,但大数 据很有可能“幸免”。

       一个说得通的原因是,在目前的美国,“大数据”的概念远不止大量的数据(TB)和处理大量数据的技术,或者所谓的“4个V”之类的简单概念,而是涵盖了人们在大规模数据的基础上可以做到的事情,而这些事情在小规模数据的基础上是无法实现的。

       所以变革将无法避免。而对大数据的掌握程度可以转化为经济价值的来源。

     《大数据时代》一书的作者,维克托·迈尔·舍恩伯格上月底来到中国时,向一众业内和媒体人士着重介绍了其对大数据时代可能产生的价值变革的判断依据和论断结果。在回答记者的现场提问时,维克托表示,我们现在讨论的商业公司的形式是前大数据时代的模式,那么在大数据时代,从现有的模式中找模式是非常有问题的。 我们要用新思维来衡量一切,包括新的企业模式,企业间关系以及社会、政府、商业等的关系。 

大数据的科学价值和社会价值正是体现在这里。

 

被改变的政治与政府

       一个略有被媒体夸大但基本属实的案例是,奥巴马今年成功连任美国总统,其背后那个几十人构成的数据分析与挖掘团队至关重要。这 支团队在2008年奥巴马竞选时就已存在并发挥作用。而这次,他们更动用了5倍于上届的人员规模,且进行了更大规模与深入的数据挖掘。它帮助奥巴马在获取 有效选民、投放广告、募集资金方面起到一定作用。事实证明,奥巴马募集到的资金尽管与对手罗姆尼募集的资金规模不相上下,但前者从普通民众直接募集到的资 金是后者的近两倍。据一项调查显示,奥巴马团队筹得的第一个1亿美金中,98% 来自于小于250美金的小额捐款,而罗姆尼团队在筹得相同数额捐款的情况下,这一比例仅为31%。

       以竞选工作组发言人Ben LaBolt的话来形容:奥巴马团队拥有“核代码”数据是能够击败罗姆尼的最根本优势。更“极端”的说法是,奥巴马胜选的原因不在于经济、外交政策或是妇女问题,而是赢在大数据!当 然,这个说法难免牵强,但仍可以看做美国政治或者说政界人士受到科技的影响越来越大据《大数据:正在到来的数据革命》一书作者徐子沛在不久前的一次沙龙上 透露,目前美国许多政界人士都十分重视社交网络,并期冀通过数据挖掘和数据分析从中获益。而数据创新给公民、政府、社会带来的种种挑战和变革,已经深入人 心。

        但社交媒体分析,仅仅是大数据“冰山一角”的部分。 

       在目前已被认可的范畴中,大数据的价值链中,数据本身、技能以及思维三个层面是核心竞争领域,社交媒体分析可以看做是数据分析技能层面的细分领域,也是传统数据挖掘范畴下的新变种。在 数据领域占据领先地位的美国,已经在这三个层面都取得了长足发展,其中,政府层面的变化极为明显,甚至将数据价值提升到了国家战略层面2012年3月,奥 巴马政府宣布 “大数据的研究和发展计划。”白宫声明公开称:“通过提高我们从大型复杂的数字数据集中提取知识和观点的能力,承诺帮助加快在科学与工程中的步伐,加强国 家安全,并改变教学研究。”

        在这个计划里,美国国家科学基金、国家卫生研究院、能源部、国防部、国防部高级研究计划局、地 质勘探局等6个联邦政府部门,宣布将启动2亿美元的投资计划,提高从大量数字数据中访问、组织、收集发现信息的工具和技术水平,从而了解更多正在进行的联 邦政府的计划,解决所大数据所带来的机遇和挑战,并计划与工业界、大学研究界、非营利性机构与管理者一起利用大数据所创造的机会。

        其中,美国国家卫生研究院开展的免费开放由国际千人基因组计划,它将创建的人类遗传变异研究数据集,供研究人员自由访问和使用;美国国家科学基金会和美国国 家卫生研究院将对大数据进行联合招标,改进核心科学与技术手段,提高从各种大型数据集中提取重要信息并对其进行有效管理、分析和可视化的能力;美国国防部 则计划每年投资2.5亿美元左右,在各个军事部门开展一系列研究计划,旨在以创新方式使用海量数据,通过感知、认知和决策支持的结合,加强大数据决策力; 美国能源部则将斥资2500万美元建立可扩展数据管理与可视化研究所(SDAV),帮助科学家对数据进行有效管理,促进其生物和环境研究计划、美国核数据 计划等的研究成果……
       而作为奥巴马开放政府承诺的产物,2009年至今Data.gov全面开放了40万联邦政府原始数据 集。日前Data.gov宣布采用新“开源政府平台”管理数据,代码将向各国开发者开放。从这个角度看,大数据已成为美国国家创新战略、国家安全战略、国 家ICT产业发展战略以及国家信息网络安全战略的交叉领域、核心领域。

        当然从现在来看,说大数据改变美国政治或政府的确有些夸张,但从另一层面看,美国政府的开放性数据服务转型正走在世界前列。

 

被变革的行业与产业

       数据价值本身的被认知与被挖掘,建立在一个前提下数据化。我们不能将数据化等同为数字化,后者不过是将模拟数据转换为二进制码方便计算机存储和分析,而前者则是把日常生活、生产、商业等方方面面的现象转化为可制表分析的量化形式的过程。正是这个过程,形成了各行各业的变革力量因为这是大数据时代所独有的一种新型能力:以一种前所未有的方式,通过对海量数据进行分析,获得有巨大价值的产品和服务,或深刻的洞见。

        中科院计算所所长孙凝晖对此表示,“大数据在未来很可能会成为一个新的行业,而且大数据本身也超越了互联网行业,不仅仅是在网络,生物基因本身也是大数据,各个物种的基因数据产生以后也会产生很多的学术价值、商业价值。”这种说法并非没有依据。

        从美国市场上已经发生的案例来看,互联网行业、商业智能与咨询服务领域、零售行业受益最大,但医疗、卫生、交通、物流甚至生物科技、天文等领域,都开始“承认”大数据的价值。事实上在美国各个行业和应用领域,大数据的应用已经遍地开花。

        互联网行业,雅虎于 2008 年初便开始启用大数据技术,每天分析超过 200PB 的数据,使得雅虎的服务变得更人性化,更贴近用户和客户。它与雅虎 IT 系统的方方面面进行协作,包括搜索、广告、用户体验和欺诈发现等;为了更深入的了解每一个用户,亚马逊不仅从每个用户的购买行为中获得信息,还将每个用户 在其网站上的所有行为都记录下来,这些数据的有效分析使得亚马逊对于客户的购买行为和喜好有了全方位了解,对于其货品种类、库存、仓储、物流、及广告业务 上都有着极大的效益回馈。

         医疗卫生领域的应用也正在爆发乔布斯通过大数据辅助癌症治疗,通过智能手机上的应用程序来监测病 人的身体颤动,甚至如丹麦癌症协会通过大数据来研究手机使用是否致癌,还有微软这样的公司来分析病患的再入住率等。最着名的案例来自谷歌在2009年,甲 型H1N1流感爆发的几周前,互联网巨头谷歌公司的工程师们在《自然》杂志上发表了一篇引人注目的论文。它令公共卫生官员们和计算机科学家们感到震惊文中 表示,和疾控中心一样,谷歌也能判断出流感是从哪里传播出来的,而且他们的判断非常及时,不会像疾控中心一样要在流感爆发一两周之后才可以做到。谷歌公司 发现能够通过人们在网上检索的词条辨别出其是否感染了流感后,把5 000万条美国人最频繁检索的词条和美国疾控中心在2003年至2008年间季节性流感传播时期的数据进行了比较。而通过一个数学模型处理后,他们的预测 与官方数据的相关性高达97%。所以,2009年甲型H1N1流感爆发的时候,与习惯性滞后的官方数据相比,谷歌成为了一个更有效、更及时的指示标。公共 卫生机构的官员获得了非常有价值的数据信息。

        不得不提的还有零售行业。实际上,诸如沃尔玛、Tesco(英国零售巨头)等 巨头已从数据中获得了巨大的利益,也因此巩固了自己在业界的长盛不衰。以曾经因“少女怀孕事件”而成为大数据典型案例的Tesco公司为例,这家全球利润 第二大的零售商从其会员卡的用户购买记录中,充分了解一个用户是什么“类别”的客人,如速食者、单身、有上学孩子的家庭等等,并基于这些分类进行一系列的 业务活动,比如,通过邮件或信件寄给用户的促销可以变得十分个性化,店内的上架商品及促销也可以根据周围人群的喜好、消费的时段来更加有针对性,从而提高 货品的流通。这样的做法为 Tesco 获得了丰厚的回报,仅在市场宣传一项,就能帮助 Tesco 每年节省 3.5 亿英镑的费用。

      此外在能源行业,SaaS型软件公司Opower 使用数据来提高消费用电的能效,并取得了显着的成功Opower 与多家电力公司合作,分析美国家庭用电费用并将之与周围的邻居用电情况进行对比,被服务的家庭每个月都会收到一份对比的报告,显示自家用电在整个区域或全 美类似家庭所处水平,以鼓励节约用电。据报道,Opower 的服务已覆盖了美国几百万户居民家庭,预计为美国消费用电每年节省 5 亿美元。

       最值得一提的是生物信息行业。生物信息是继互联网行业之后数据迸发最迅速的行业,并将远远超过互联网产生的数据:人类用 0 和 1 创造了虚拟世界,而造物主用 A/C/T/G 四种元素创造了万物生灵,生命的产生、发展、消亡的奥秘尽在其中。随着测序技术的发展,全基因组的测序价格由十年前的上亿美元降至今天的数千美元,这使得 更多人、物种的 DNA信息的获取成为可能。个体全基因组信息的获取,使得个性化诊疗服务成为可能。大数据时代,一切的一切都存在着可能,而这一切的改变我们也正在体验之 中。

 

被重塑的价值与思维

      事实上,自20世纪末以来,信息变革一直在发生,但此前都集中在技术上,而大数据时代的到了让我们开始关注信息本身。数据一贯被我们冠以“精确”的标签,但维克托·迈尔·舍恩伯格认为,“执迷于精确性是信息缺乏时代和模拟时代的产物,只有5%的数据时有框架且能适用于传统 数据库的。如果不接受模糊,那么95%的非框架数据都无法被利用,只有接受不精确性,我们才能打开一扇从未涉足的世界的窗户。”换句话说,全样本时代的大数据的简单算法,比小数据的复杂算法更有效。Google的翻译系统备受好评,但它不需要像IBM曾重金打造的Candide系统 一样精确的翻译300万句话,而是靠掌握的不同语言翻译的质量参差不齐的数百亿页文档它把语言看做是可以判别可能性的数据,而不是语言本身。这个例子意味 着,我们不再需要担心某个数据点对整套分析的不利影响,而是要接受这些纷繁的数据并从中收益,而不是以高昂的代价消除所有的不确定性。大数据的科学价值和社会价值正是体现在这里。一方面,对大数据的掌握程度可以转化为经济价值的来源。不过一个问题是,另一方面,大数据时代已经撼动了世界的 方方面面,从商业科技到医疗、政府、教育、经济、人文以及社会的其他各个领域最简单的,亚马逊可以帮我们推荐想要的书,谷歌可以为关联网站排 序,facebook知道我们的喜好,而 LinkedIn可以猜出我们认识谁。当然,同样的技术也可以运用到疾病诊断、推荐治疗措施,甚至是识别潜在犯罪分子上。

         一个更美好的比喻是:“如果说20世纪是一个石油为王的时代,21世纪就是一个数据为王的时代,21世纪数据的价值有可能等同于20世纪的石油。”值得注意 的是,目前互联网为主的技术和服务能力对大数据的处理和挖掘还远远不够,未来会有更多的有价值的数据从海量的大数据里发掘出来,产生很多新的商业形态、新 的企业和新的服务。

         但大数据的变革力量还不止于此最核心的论题是,大数据只提供参考答案,不是最终答案。因为它放弃了对因 果关系的渴求,而只关注相关关系只需要知道是什么,而不需知道为什么这彻底推翻了自古以来的惯例,所以我们理解现实和做决定的基础也将受到根本性挑战。在 这种情况下,大数据将与互联网的发明一样,这绝不仅仅是信息技术领域的革命,更是在全球范围启动透明政府、加速行业企业创新、引领社会变革的利器。

        从这个角度出发,技术革新之外,思维模式的革新和管理变革不可避免,数据驱动型的企业和政府正在变得可能。

原文发布时间为:2014-02-09


时间: 2024-10-30 14:35:46

透视美国大数据爆发全景的相关文章

大数据风向标:透视美国大数据战略

文章讲的是大数据风向标:透视美国大数据战略,"数据是一项有价值的国家资本,应对公众开放,而不是把其禁锢在政府体制内."–美国联邦政府 作为大数据的策源地和创新引领者,美国大数据发展一直走在全球最前面. 此中关键: 1.动力 首先是多年的技术沉淀和创新积累,包括从计算机革命开始以来的硅谷创新力和影响力,以及一大批的领军企业,包括谷歌.微软.EMC.SAP.微软这样的巨头,也包括像Facebook.Splunk.Teradata这些创新的公司,硅谷精神和创新力量在美国大数据发展方面的作用,

VC这一年:羡慕嫉妒恨 低迷惨淡痛 大数据爆发

海外IPO继续低迷 VC/PE境外退出依旧无望从2011年开始,全球经济面临下行风险,美国资本市场萎靡,欧洲深陷债务危机,中国企业海外上市大幅缩水.中概股在美国资本市场一度受到打压做空遭到重创,加之美国二级市场不景气,中国企业赴美上市几近停滞,这迅速波及到VC/PE机构的海外退出进程,大多数投资人对于海外市场走势均持谨慎态度.虽然李开复撰文力驳华尔街的做空行为取得一定战果,但中国企业在海外市场的上市估值和上市后表现不甚乐观,VC/PE机构通过IPO退出存在一定阻力,不少机构将被投企业IPO延后或

大数据爆发前夜需度过两大瓶颈

今年早些时候<纽约时报>刊文称"大数据时代已来临"文章中说,大数据是一个带有文化基因和营销理念的词汇,但同时也反映了科技领域中正在发展中的趋势,这种趋势为理解这个世界和作出决策的新方法开启了一扇大门.根据科技研究公司IDC作出的估测,数据一直都在以每年50%的速度增长,换而言之,也就是每两年就增长一倍.这不是简单的数据增多的问题,而是全新的问题. 随着互联网技术日新月异,人类的线下行为逐渐迁移线上.过去人的沟通.社交.办公以及日常生活场景等其他物理行为在日益发展的强大技术背

中国大数据与IT现状全景扫描

大数据来势汹汹,已经让每一个企业都深陷其中,但是对于大数据中蕴藏的商业价值,几乎每个企业都深信不疑. 值得强调的是,要想驯服大数据,从大数据中挖掘出大价值,清晰的认知大数据是必然的第一步.对此,ZDNet发起了针对中国大数据认知和应用的市场调研,并得到了447位各行各业用户的参与. 通过分析调研数据,中国大数据的全景印象已经逐渐清晰.本文将结合ZDNet发起的调研数据,扫描大数据对中国各行业企业的影响,具体分析大数据在中国的行业.地域.规模分布,大数据的现状与增长态势,以及给企业IT带来的影响,

亿玛柯细兴:大数据应用首先爆发于互联网紧密结合的领域

11月20日,2014亿玛智慧峰会在北京海航大厦万豪酒店举办.本次峰会以"大大数据智未来"为主题,以近年来大数据的应用落地为出发点进行了探讨和思考.随着大数据的发展,更多的大数据应用已经从探索阶段进入了市场化应用层面,基于大数据的精准营销.网络金融.智能汽车.智能家居.智慧医疗与健康等等,都是大数据广泛深入细化的领域.本届会议主办方.亿玛公司创始人兼总裁柯细兴先生峰会上谈到,大数据已进入生活各方面.在柯细兴看来,亿玛聚焦大力推进的大数据世界,已经逐渐走出概念层面,进入了行业应用的市场化

大数据技术在发展 挑战与机遇并存

大数据技术是在传统数据处理手段无法应对海量数据的实时需求的情况下,采用新的信息技术来应对大数据爆发进行数据处理的技术.大数据技术一般可以包括基础架构支持.数据采集.数据存储.数据计算和数据展现交互等. 大数据技术的分类 大数据技术涵盖的范围十分广阔.基础架构支持方面主要包括了支撑大数据处理的基础架构级数据中心管理.云计算平台.云存储设备及技术.网络技术.资源监控等技术.而为了处理数据,则需要有大规模物理资源的云数据中心和具备高效的调度管理功能的云计算平台的支撑. 数据采集技术方面包含了数据采集的

大数据传统企业实施理性篇---请放慢你的步伐

一.楔子 社区的力量是巨大的,开源的诱惑也 是魅力无穷,靠忽悠无法长久的云计算已是昨日黄花,IT新贵的发力点聚焦大数据,言必称大数据,语必谈数据黄金,更有甚者,高唱2013是大数据元 年,2014必将是大数据爆发的一年.而企业也已躁动不安,纷纷举旗遥相呐喊:"大数据我来了".在此给这些企业泼盆冷水,降降温度.让大数据回归理性. 二.追本溯源-我们为什么需要大数据 基于开源平台发展起来的大数据技术,其发展的原动力来源于企业面临的瓶颈,这些瓶颈包括三个大的方面. 1.技术方面: 技术方面传

开源大数据周刊-第58期

阿里云E-Mapreduce动态: EMR即将在新的版本中支持本地盘机型,大幅降低集群的存储成本. 资讯 大数据如何改变垂直电商? 垂直电商仍旧将是平台电商们在未来极其有力的竞争者和合作者.未来的成功垂直电商,有着三个发展方向:数据驱动.品牌化和全球化. 2017年大数据年中盘点--预测的趋势现状如何 本文详细解读了2016年底对大数据在2017年发展趋势的预测以及如今在17年时间已经过半时,这些预测的现状. 夏季达沃斯上那些有关大数据的言论 日前,主题为"在第四次工业革命中实现包容性增长&qu

大数据助力运营商创新转型 中国信息通信大数据大会圆满召开

ZD至顶网CIO与应用频道 04月26日 北京消息:4月20-21日,由人民邮电出版社主办,<大数据>杂志.<电信科学>杂志.通信世界网协办,信通传媒.数创汇承办的中国信息通信大数据大会在京成功召开. 大咖云集"政产学研"智论产业发展 作为国内首场通信业大数据思想盛宴,大会围绕运营商聚集了"政.产.学.研.用.企",信息通信.大数据.互联网等各个领域的400+前沿代表和践行者们的热情参与.众多行业领袖齐聚一堂,从不同视角.不同层面,分享当前通