大数据技术存在局限 直觉不可或缺

导语:《纽约时报》印刷版30日出版文章称,大数据将成为人类商业历史上新的篇章,有望取代想法、范例、组织以及人们思考世界的方式。但与此同时,经验和直觉同样不可或缺。

以下为文章内容摘要:

“大数据重要,直觉也不可或缺。”这是本月早些时候在麻省理工学院召开的一次业界会议的主题。

麻省理工学院数字商业中心首席科学家Andrew McAfee称,大数据将成为人类商业历史上新的篇章。该中心另一名教授Erik Brynjolfsson称,大数据将取代想法、范例、组织以及人们思考世界的方式。

这些前卫的预测的前提是:Web浏览记录、传感器信号、GPS跟踪和社交网络信息等数据能够以前所未有的程度面向衡量和监控人类及设备的行为敞开大门。通过计算机算法,可以预测出人类的许多事情,如购物、约会或投票等。

业内专家预计,最终的结果就是:世界变得越来越智能,企业的工作效率越来越高,消费者获得的服务质量越来越高,人们所做出的决定也越来越合理。

我之前写过不少关于大数据的文章,但在2012年底这个特殊的时刻,我想应该是反思、提问和质疑大数据的时刻。

从商业评估中挖掘实用启示并非新鲜事物。100多年前,Frederick Winslow Taylor的名著《科学管理原理》就是大数据的前身。Taylor的评估工具是秒表,为员工的每一个行动进行定时和监测。Taylor及其助手利用这种“时间和动作”研究模式来重新设计最有效的工作方式。

但如果这种方法被过度夸大,就成为了卓别林《摩登时代》(Modern Times)所讽刺的对象。此后,人们对于这种量化方法的热情也开始跌宕起伏。

通常,互联网被大数据倡导者作为成功的数据业务的范例,这其中以谷歌为代表。而如今,许多大数据技术,如数学模型、预测算法和人工智能软件等已被华尔街所广泛应用。

在本月的麻省理工学院大会上,当被问及大数据领域一些重大失败案例时,几乎没有人能够说出这样的失败案例。后来,麻省理工学院斯隆管理学院(Sloan School of Management)教授Roberto Rigobon称,金融危机毫无疑问影响了数据业务。他说:“对冲基金在全球都是失败的。”

问题是,数学模型是一种简化。这种模型源自自然科学,根据物理定律,流体中的粒子行为是可以预测的。

如此众多的大数据应用中,一个数学模型通常附带关于人类行为、兴趣和偏好的精确数据。这种方法在金融等领域的危险性也是有目共睹,美国哥伦亚亚大学金融工程学系主任Emanuel Derman在他的书中《Models. Behaving. Badly》中就详细阐述了其危险性。

纽约创业公司Media6Degrees首席科学家Claudia Perlich称:“你可以用数据来欺骗自己,我担心大数据出现泡沫。”Perlich担心许多人将自己称为“数据科学家”,但并未做足功课,反而给该领域抹黑。

Perlich认为,大数据似乎将面临劳动力瓶颈。她说:“我们的技能提升速度还远不够。”麦肯锡全球学会(McKinsey Global Institute)去年发布的一份报告显示,美国需要14万名至19万名具有“深度分析”经验的工作者,以及150万名更加精通数据的经理人,无论是已退休人士还是已受聘人士。

哈佛商学研客座教授Thomas H. Davenport正在写一本名为《Keeping Up With the Quants》的新书,旨在帮助经理人来应对大数据挑战。达文波特认为,管理大数据项目的一个重要部分是要问正确的问题:如何定义问题?你需要哪些数据?来自哪里?等等。

Google Research高级统计师Rachel Schutt称,如果建模人员能够思考伦理维度(ethical dimensions)等问题,那就会更好地服务于社会。Schutt说:“模型不仅仅是预测,它们还可以让事情真正发生。”

模型能够创建数据科学家所谓的“行为循环”(behavioral loop),如果一个人被提供足够的数据,都能对自己的行为进行指导。

以Facebook为例,将个人数据上传到自己的Facebook页面,Facebook的软件就会跟踪你的点击和搜索。通过算法来评估这些数据,然后再提供好友的建议。

但这种通过软件跟踪用户的行为却引发了隐私担忧,难道大数据将迎来数字监控的到来?

我个人最大的担忧是,当前确定我们个人数字世界的算法过于简单,不够智能。这也是Eli Pariser所著《The Filter Bubble: What the Internet Is Hiding From You》所探讨的问题之一。

令人鼓舞的是,像Perlich和Schutt这些有思想的数据科学家意识到了大数据技术的局限和不足。他们认为,听取数据是重要的,但经验和直觉同样重要。

在麻省理工学院大会上,查特被问及如何才能成为一名优秀的数据科学家,她说,需要计算机科学和数学技能,拥有好奇心,具有创新意识,以数据和经验为行动准则。她说:“我不会把机器神化。”

(责任编辑:蒙遗善)

时间: 2024-09-13 18:52:24

大数据技术存在局限 直觉不可或缺的相关文章

大数据技术存在局限 经验直觉不可或缺

本文讲的是大数据技术存在局限 经验直觉不可或缺,<纽约时报>印刷版30日出版文章称,大数据将成为人类商业历史上新的篇章,有望取代想法.范例.组织以及人们思考世界的方式.但与此同时,经验和直觉同样不可或缺. 以下为文章内容摘要: "大数据重要,直觉也不可或缺."这是本月早些时候在麻省理工学院召开的一次业界会议的主题. 麻省理工学院数字商业中心首席科学家安德鲁·麦卡菲(Andrew McAfee)称,大数据将成为人类商业历史上新的篇章.该中心另一名教授埃里克·布林约尔森(Eri

115期:在线大数据技术峰会回顾合集!

本期头条   票选最美云上大数据暨大数据技术峰会上,阿里云飞天一部计算平台高级专家无庸为大家带来题为"高可用大数据计算服务如何持续发布和演进"的演讲.本文先对MaxCompute架构进行了介绍,接着重点介绍在大数据计算服务下,高可用服务持续改进和发布的工具,包括Playback工具.Flighting工具和灰度上线.细粒度回滚等,点击查看. • [资料合集]在线大数据技术峰会:讲义PDF+活动视频! • 提速1000倍!阿里率先采用Intel Optane SSD • 东京见闻:快速走

视频云时代挑战下大数据技术及其应用发展趋势

近年来,云计算.云存储.大数据等技术在互联网行业得到了高速发展,技术.产品都得到了较好的市场检验,已被全社会广泛认可.在安防行业,在市场客观需求引领下,主流厂商积极将相关技术引入到行业内,并结合行业特征进行演进,推动云计算.云存储.大数据在行业内的高速发展,同时推出一系列广受市场认可的产品与理念,而云计算.云存储产品也成为各主流厂商主在有关平安城市解决方案中的核心系统之一,这其中所应用的核心技术就成为了衡量所属公司行业地位的关键指标. 视频云时代挑战下大数据技术及其应用发展趋势 视频监控技术趋势

媒体该如何应对“大数据”技术?

2011年,西方有关"大数据"(big data)的理论像旋风一样席卷知识界,大数据的学术讨论接连不断.媒体火热的爆炒,各种危言耸听的结论,充满种种迷思,谷歌上竟有13多亿条这方面的报道和言论.我国IT业和新闻界也开展了探讨,并发表多篇文章,西方的"数据驱动新闻"(data-driven journalism)."数据决定话语自由"(allowing the data to speak freely)的说法在国内流行起来.许多文章声称,媒体如不谙

Smart Data Platform ——大数据技术的未来

大数据的概念(Big Data)已经火了5年了,从Google Trends上来看11年以来,关注度一路快速增长,到15年开始逐步持平.实际上大数据已经逐步走过了描绘愿景的阶段,人们期待的是大数据能够真正在各个行业落地,产生巨大的价值.但目前来看创造了明显商业价值的应用还是在互联网,除了搜索以外,杀手级的应用也就两个--精准广告和推荐.TalkingData在大数据领域耕耘了5年,发展非常迅速,在很多传统行业的大数据应用都是居于国内领先地位.但是当我们的业务发展得越来越好,涉及的行业越来越多,客

Smart Data Platform – 大数据技术的未来

大数据的概念(Big Data)已经火了5年了,从Google Trends上来看11年以来,关注度一路快速增长,到15年开始逐步持平.实际上大数据已经逐步走过了描绘愿景的阶段,人们期待的是大数据能够真正在各个行业落地,产生巨大的价值.但目前来看创造了明显商业价值的应用还是在互联网,除了搜索以外,杀手级的应用也就两个--精准广告和推荐.TalkingData在大数据领域耕耘了5年,发展非常迅速,在很多传统行业的大数据应用都是居于国内领先地位.但是当我们的业务发展得越来越好,涉及的行业越来越多,客

不可错过,参加2016中国大数据技术大会的十大理由(议题攻略)

作为国内大数据领域的顶级大会,中国大数据技术大会从2008年至今已近十年,超过一万名大数据开发者参与其中,完整地见证了中国大数据技术与应用的变革,忠实地描绘了大数据领域内的技术热点,沉淀了无数极具价值的行业实战经验,见证了整个大数据生态圈技术的发展与演变.历经九届的中国大数据技术大会由于其专业性.技术性,已经成为国内外大数据领域的顶级盛会,也因此受到大数据开发者的强烈关注. BDTC 2016中国大数据技术大会 2016年12月8日-10日,由中国计算机学会(CCF)主办,CCF大数据专家委员会

数据量爆发式增长 物联网引入大数据技术迫在眉睫

根据IDC公布的数据,2005年由M2M产生的数据占全世界数据总量的11%,预计到2020年这一数值将增加到42%.这一比例表明,物联网快速发展的同时也制造了海量数据,如何妥善处理及合理利用这些海量数据是物联网下一步发展的关键."在近日由中国电子学会召开的2013(第四届)中国物联网大会上,中国工程院院士邬贺铨强烈呼吁. 然而,无论是大数据,还是物联网,在我国都处于起步阶段,至于两者的交叉领域目前人们更是涉及甚少,而物联网所产生数据本身的复杂性,更是进一步加大了物联网领域大数据落地的难度. 几何

大数据技术在发展 挑战与机遇并存

大数据技术是在传统数据处理手段无法应对海量数据的实时需求的情况下,采用新的信息技术来应对大数据爆发进行数据处理的技术.大数据技术一般可以包括基础架构支持.数据采集.数据存储.数据计算和数据展现交互等. 大数据技术的分类 大数据技术涵盖的范围十分广阔.基础架构支持方面主要包括了支撑大数据处理的基础架构级数据中心管理.云计算平台.云存储设备及技术.网络技术.资源监控等技术.而为了处理数据,则需要有大规模物理资源的云数据中心和具备高效的调度管理功能的云计算平台的支撑. 数据采集技术方面包含了数据采集的