警惕大数据的“哑铃”现象

SnapLogic公司的CEO高拉夫•迪隆认为,大数据哑铃的两端,一端是零售、金融等服务业和信息密集型产业,一端是工业互联网,这两端都能从大数据获得巨大的好处,但大数据并不适合其它大量处于中间地带的企业。

如果真像知名风投家马克•安德里森所说的那样,软件正在吞噬世界,那么大数据就应该是在拯救世界,对吧?

近两年来,“大数据”这个词已然滥殇于报端。它一般代指用来分析令常规工具望洋兴叹的海量数据的一系列技术。“大数据”的火爆令许多高管不禁踌躇自己的公司是否也要来上这么一套东西。这种现象从很多方面看很像上个世纪60年代——当年仍处于襁褓阶段的计算机虽然异常昂贵,但它所具有的未来主义色彩仍令众多大企业心折不已,遂纷纷把它看成一种有利于竞争的工具。那么现在的企业面对大数据浪潮该何去何从?是该害怕它,还是勇敢地拥抱它?另外,究竟谁才真正需要这个东西?

为了透过热闹看门道,《财富》杂志将电话打到了高拉夫•迪隆在加州圣马特奥市的办公室。如果你觉得迪隆这个名字很耳熟,那是因为迪隆曾担任过Informatica公司的创始人兼首席执行官。Informatica公司的总部位于加州的红杉市,市值将近40亿美金,主要业务是替大企业管理数据库。

迪隆于2009年就任数据集成公司SnapLogic的首席执行官。他认为大数据对于大企业来说蕴含着丰富的商机——但仅限于某些行业。他把这种情形称为大数据应用的“哑铃”现象。以下是这次电话专访的文字记录,为清晰起见进行了部分编辑和精简。

《财富》:去年可能再没有比“大数据”更火的词了,几乎到处都能看到这个词——比如在科技峰会的主题演讲里,在各种简介材料和展板里,在关于各种行业的新闻文章里……大家都觉得自己需要搞大数据。不过,大数据是个非常专门的计算技术的类型,是吧?还是说,它只是个噱头?

迪隆:我在信息技术行业从业22年,也有一些自己的观点。2002年的时候,我用“信息海啸”一词来描述它。现在我们又有了一个新名词。

我认为现在需要管理的数据量的确越来越大了。这个行业最初发端于上个世纪,而且是在互联网发明以前,起初是要处理零售业的条形码和UPC代码数据。对这些数据的早期分析孕育了后来的数据存储行业。后来这个行业带动了市场决策、定价决策、零售预测等等方面。

大数据的火爆趋势还会继续下去,不会突然发生转变。一位科学家曾说过:“科学每一次都提前埋葬了一点过去。”所以我认为我们还能够继续享受利用数据进行决策,以及利用大数据进行更合理的决策所带来的效益。

我们需要处理的数据的确“变大了”。当然,我家车库里也比十年前装了更多的东西,随着时间的推移,大家的东西都会越来越多。

但是有意思的是,大数据具有数据科学的元素,我认为这是比较重要的一点。首先它从大数据中撷取出小数据,然后在小数据中寻找信号,来理解我们下一步该做什么——比如谁将赢得大选?气候和语言之间有什么相关性?也就是我们现在能做一些靠上个世纪的运算能力没法处理的事。而且现在Hadoop和其它一些工具已经让大数据走向大众化。所以,现在大数据计算的价格和性能都发生了根本的变化。

在有些案例中,大数据的效益很明显;在其他一些案例中,大数据的作用被夸大了,它的效益可能不会那么明显。随着许多东西的电子化程度越来越高——比如超市、桥梁、汽车、公路等,大家有了它们的传感器数据,就会获得大量的信息。但更多的数据并不会让人变得更聪明,它只是意味着大家要花更多钱用来储存这些数据。正是这个方面会让有些公司被甩出这个市场——也就是大数据的效益方面。

在有些领域,比如零售、定价、金融方面,大数据的效益很明显。但在有些行业里,把钱投在大数据或是投在研发和市场上,哪个带来的效益更多,答案并不明显。我不是要告诉你大数据是个万灵丹,而是要告诉你管理这些数据……不同的人获得的效益是不一样的。

上周新更新的一集美剧《广告狂人》(Mad Men)里,那家名叫Sterling Cooper & Partners的广告公司购买了一台新的IBM 360大型主机放在原来的一间会议室里。剧中的有些角色为了让公司获得竞争优势而想买这台电脑;还有些人支持买这台电脑是因为他们把它看成未来的一种趋势。另外还有一些人担心这台电脑会取代他们的工作。这就是人们看待大数据的一般看法吗?

对计算机的恐惧不仅仅是他们有。刚毕业的大学生、2000年后毕业的人以及我的孩子(一个13岁、一个6岁)这一代人,他们并不害怕计算机——他们虽然可能不是搞编程的,但他们对科技上手很快,个个都是民间高手。而《美国队长2》(Captain America: The Winter Soldier)里九头蛇密谋颠覆世界的“洞察计划”渲染的全是大数据的阴暗面。实际上如今各大企业想的都是“我们不能落在后面”,所以纷纷在这个领域开展军备竞赛。虽然社会上有人担心大数据会导致“洞察计划”这样的阴谋成为现实,但企业界没有这种担忧。不过在企业界里也存在获取了错误的数据或是没能真正理解数据含义的问题——这和五六十年前的情况如出一辙。在SnapLogic公司,我们现在就正在尝试完成一下一些未完成的业务。为什么到了2014年它还是这么难?

我感觉许多行业都在热情拥抱大数据——比如制造业和金融服务业,因为人们已经有了熟练操作计算机的能力。但是我觉得人们急着想要看到的是,大数据应用在他们的生活中会给他们带来哪些好处。他们对大数据还是比较关心的,而且他们确实只想享受大数据给他们带来的好处。这需要做大量的工作。而现在的数据学家还是太少了,像Hadoop这样的公司更是凤毛麟角,你还得需要一个计算机科学专业的研究生来把这些东西建立起来。大数据已经从根本上改变了数据储存的单位比特成本,这是一个结构性的变化。

现在围绕大数据已经能清晰地看到一个“哑铃”态势的形成。服务业和信息密集型产业等具有大量知识型员工的行业明显会从大数据中获得巨大的效益。还有零售业、酒店业、股票交易……如果你有发现趋势的能力,你就能发现你所在业务的分界点,然后采取相应措施。如果你发现了如何利用市场中的某些事件随势而动,那么你肯定可以把它转化成现金。这就是哑铃的其中一端。

哑铃的另一端是工业互联网。我觉得它特别特别的有趣。通用电气公司(GE)有一篇文章写道,你不仅要能卖飞机引擎,还要卖飞机引擎的周边价值。所以要围绕大数据激发一些行动。比如对于通用电气来说,就是对已经卖出去的引擎做预防性的维护。这个理念对通用电气、西门子(Siemens)以及其它任何一家制造企业都具有重大意义。你可能认为大数据只是知识方面的一项业务,但是在工业方面,它也是一个非常有意思的“哑铃”。

但对于其他行业来说……你能预测时尚行业的趋势和流行的颜色吗?什么元素可以让一季时装获得成功?或许大数据能做到。另外一部好电影就是一部好电影,大数据本身造就不了一部好电影。有时你只能一步一个脚印地创造一些东西。一本好书,一部电影,只有到了上架上映的时候才知道好不好。“哑铃”理论看起来非常站得住脚。

那么我们是否应该告诉有些企业:“大数据不适合你”?

我们应该搞清楚这个问题。因为如果我们不搞清楚,大家会很不高兴。你不能让一个问题半死不活地吊着,而是要彻底搞定一个问题。很多人只想立刻上马搞大数据,但是如果你不想投资到一个有效的水平——那需要一笔重大的投资——而只是蜻蜓点水地投一点钱,就指望收获巨额回报,这种好事是不会发生的。所以如果你今年没有足够的预算,那么或许你应该等等,因为这种技术会越来越便宜。所以不妨宽心安坐,最好用软件即服务(SaaS)和云应用给你的公司打气,让你的市场部门放手拼搏。

从根本上看,企业的高管就是投资者。高管是做什么的?就像我们的投资人之一本•霍洛维茨说的那样,他们做的不是事,而是决策。没什么比一个半生不熟的大数据项目更悲剧了。这样做只会让你对大数据的真正效益产生反感和不信任。

大数据市场还有哪些可以进入的空白领域?哪些领域或行业是大数据可以轻易征服、但目前仍然是完全敞开的?

所有这些变化正在把所谓的负空间(即相连事物之间的空间)变成战场。如果这些领域不互相交流的话,单是你自己花多少钱没有意义。但由于发生了巨大的变化,所以我们看到了很多的负空间。比如人们正在关掉传统的数据存储仓库,还有我们发现很多企业应用转移到了云端。Salesforce是这样做的,Workday做的也很好,另外还有API、物联网、数据……大数据还处于发展的早期阶段,但它很可能将成为有史以来最好的信息来源。你能有多少条形码?大家肯定会在工业方面看到大数据的赚钱能力。

把负空间结合在一起是个大问题。但它们目前仍然是一片空白。我们还有很长的路要走。

原文发布时间为:2014-05-13

时间: 2024-10-28 00:19:58

警惕大数据的“哑铃”现象的相关文章

R语言会成为大数据时代的现象级语言吗?

文章讲的是R语言会成为大数据时代的现象级语言吗,大数据虽然能为企业带来很多好处,但同时它也让开发人员们很是头痛,更为要命的是,开发人员渐渐发现传统编程语言不足以应付他们遇到的许多挑战. 数据科学家和开发人员在处理数据时往往会有以下几个选择: ·基于GUI的开发平台. ·C-based语言(如C,C ++和Java). ·R语言. R语言论坛博主Oliver Bracht曾经写过一篇关于R语言优点的主题帖子,并指出R比其他语言更适合处理更大的数据查询. Jan Wijffels在talkR会议上列

大数据发展谨防"一哄而上" 警惕大数据应用陷阱

马云曾说,"我们还没搞懂PC互联网的时候,移动互联网来了.我们还没搞懂移动互联网的时候,大数据来了."作为近几年来最热门的网络概念之一,大数据在多个领域的落地显示出其巨大优势,如出行类APP在城市中为用户提供快速的车辆调度,又如谷歌智能系统阿尔法围棋在人机围棋大战中获胜.然而大数据应用喜忧参半亦是事实,曾作为大数据具备革命性潜力证明的谷歌流感趋势近几年的预测结果并不尽如人意. 大数据是否被过度热炒?现行大数据分析是否可靠?这些疑问在大数据已作为国家战略被写进"十三五"

警惕大数据中的“陷阱”

导语:关于社会大数据的研究近年来不断扩大.繁荣,发展为集社会学.计算机学.物理学.心理学等多个学科于一身的交叉学科.与此同时,新的数据获得渠道.数据处理方法和工具也不断被研究者们引入社会研究领域.然而,正是因为该领域的快速兴起,社会大数据的研究方法往往未能得到足够的重视和讨论.未成形的方法规范.模糊的样本收集范围及边界等诸多问题导致类似研究难以复制,更难以像传统社会学研究方法一样可以通过实证研究结果的梳理总结得出系统的理论.本期[大数据与社会]将梳理总结关于大数据研究"陷阱"的文章,介

警惕大数据暗藏的“窃密通道”

大数据模糊了涉密与非涉密数据的界限,颠覆了数据垃圾无秘密的传统认识,打破了以客观存在为基础的定密习惯.因此,稍有疏忽便有可能引发泄密事件,保密工作者应高度警惕. 大数据暗藏"窃密通道" 从非涉密数据中发现涉密信息.大数据基本理论告诉人们:"如果将海量的碎片化数据汇聚到一起,积少成多,形成大数据,然后通过数据分析,就可挖掘出隐藏在大数据表象背后的重要价值."这一理论启示人们:如果将海量多元的非涉密数据通过大数据技术进行关联分析,在碎片化的信息之间建立某种整体联系,就可

警惕大数据欺负人

近日,美联航超卖客票并暴力拖拽亚裔乘客下飞机的行为引发众怒,连美国白宫都看不下去了. 透过现象看本质,这位被赶下飞机的亚裔乘客,其实是大数据分析的"受害者".这也可以算作是大数据时代的负面产物吧. 美国航空业存在一个"合法"的惯例--超卖,就是说一趟航班如果有150个座位,航空公司一般会多卖出几个位子,比如155个.通常情况下总是会有人误机,座位一般够用,但大家如果都赶过来了,那必然有人没位子坐,这个时候,航空公司就会"选择"一些乘客下机. 问题

警惕大数据的“黑暗”面

 今天数据正在以前所未有的速度产生,每一个新的技术都将进一步推动这种趋势.物联网(IoT).机器学习和医疗保健数字化,产生数据的速度很快就达到每秒数百万千兆字节.根据IMB的一项研究,自动驾驶汽车也将很快加入--到2020年每秒将生成350MB的数据. 数据的产生与收集已经在企业中根深蒂固,时刻上演着大量数居的记录与分析.但是,这些数据的存储库并不总是结构化和一致的.事实上,未知的和未使用的数据催生了一个新的术语--"黑暗数据". 如果我们不改变存储.管理.结构和分析数据的方式,大部分

缔元信梅涛:"安全的陷阱",警惕大数据壁垒化危害!

随着人们对大数据价值理解的深入,更多的公司将自身领域拓展至大数据层面.然而与高速发展相对应的是,数据管理行业急需的一系列数据使用标准及数据守则并没有被建立.在法律监管与行业监管都缺失的情况下,许多数据企业都在从利己的角度出发,将大数据安全与大数据壁垒联系在一起.我们不经要问:被分割成孤岛的大数据还能称作是"BigData"吗? 拿目前大数据应用最前沿也最广泛的在线广告行业为例,许多现实问题产生的原因不光是透明度的缺失,也包括行业各方并未真正理解自己在整个生态中所处的位置.企业认为在线媒

大数据应用方向思考

一. 警惕大数据过热 1.1 过热产生盲目性 国内大数据的宣传早已过热,很多区县级政府也在考虑成立大数据局,政府对大数据热几乎没有抵抗力,企业没有紧跟就对了,在大数据高潮中反省政府的大数据行为.冷静一下头脑是有益的,毕竟大数据应用是一个经济问题,一窝蜂地大数据会使人犯"大炼钢铁"一类的错误. 1.2 大数据应用效益存在问题 大数据最积极的推动者是政府,但是政府工作如何从大数据应用中获益一直没有清晰的答案,有效的大数据应用集中于互联网企业和金融领域并非政府工作,迄今一本像样的政府大数据应

大数据迷潮下的教育研究及其想象力

"大数据"似乎已经成为一种潮流,甚至是一种时尚.人们还没来得及知道它"是什么",就已经置身其中并迷狂不已,更别提仔细思考"为什么"了.所以,用"迷潮"来形容一点也不为过.产业.金融.物流等各界人士摩拳擦掌.跃跃欲试,热烈讨论这种新技术和新资源所带来的巨大福利,生怕落下新时代疾驰而过的"幸福列车".尚在努力向"小数据"靠拢的教育研究,似乎也按捺不住转型的冲动,宣称"传统数据研究无