大数据失败案例提醒:8个不能犯的错误

近年来,大数据旋风以“迅雷不及掩耳之势”席卷全球,不仅是信息领域,经济、政治、社会等诸多领域都“磨刀霍霍”向大数据,准备在其中逐得一席之地。然而,很多公司在迈入大数据领域后遭遇“滑铁卢”。在此,本文盘点了一系列大数据失败项目,深究其原因,具有警示意义。

对数据过于相信

2008年,Google第一次开始预测流感就取得了很好的效果,比美国疾病预防控制中心提前两礼拜预测到了流感的爆发。但是,几年之后,Google的预测比实际情况(由防控中心根据全美就诊数据推算得出)高出了50%。媒体过于渲染了Google的成功,出于好奇目的而搜索相关关键词的人越来越多,从而导致了数据的扭曲。

低估大数据复杂程度

在美国有几个互联网金融公司专做中小企业贷款。但是中小企业贷款涉及的数据更复杂,而且中小企业涉及到整个行业非常特殊的一些数据,比如非标准的财务报表和不同行业、不同范式的合同,他们没有很专业的知识,是很难理解或者很难有时间把它准确挖掘出来。

当时大数据团队想用一个很完美的模型把所有的问题都解决掉,比如把市场和信贷的解决方案全部用一个模型来解决,但因为数据的复杂程度,最后证明这种方法是失败的,而且90%的时间都在做数据清理。这就说明,想通过大数据技术一下子解决所有的问题是很难成功的,而是要用抽丝剥茧、循序渐进的方式。

管理层的惰性

某家旅游公司系统通过web日志数据的挖掘来提升客户洞察。结果证明,用户在浏览网站之后,随后的消费行为模式与管理层所认为的不一致。当团队汇报此事时,管理层认为不值一提。但是,该团队并没有放弃,并通过严密的A/B测试,回击了管理层的轻视。

这个案例的最终结果,不是每个CIO都能期盼的。但是,有一点是可以确定的:做好和管理层打交道的准备,让他们充分理解大数据是什么以及相应的价值。

应用场景选择错误

一家保险公司想了解日常习惯和购买生命保险意愿之间的关联性。由于随后觉得习惯太过于宽泛,该公司将调查范畴限定到是否吸烟上。但是,工作仍然没有实质进展。不到半年,他们就终止了整个项目,因为一直未能发现任何有价值的信息。

这个项目的失败是由于问题的复杂性。在抽烟与否之间,该公司没有注意到还有大片灰色地带:很多人是先抽烟而后又戒烟了。在将问题简单化动机的驱动下,这个部分被忽略了。

问题梳理不够全面

一家全球性公司的大数据团队发现了很多深刻的洞察,并且计划通过云让全公司共享。结果这个团队低估了效率方面的损耗,由于网络拥塞的问题,无法满足全球各个分支顺畅提交数据运行分析的需求。

该公司应该仔细思考下如何支撑大数据项目,梳理所需的技能并协调各IT分支的力量进行支持。由于网络、安全或基础设施的问题,已经有太多的大数据项目栽了跟头。

缺乏大数据分析技能

一家零售公司的首席执行官不认同亚马逊规模化、扁平化的服务模式,因此让CIO构建一个客户推荐引擎。项目最初的规划是半年为期,但是团队很快认识到诸如协同过滤(collaborative filtering)之类的概念无法实现。为此,一个团队成员提出做一个“假的推荐引擎”,把床单作为唯一的推荐产品。这个假引擎的工作逻辑是:买搅拌机的人会买床单,买野营书籍的人会买床单,买书的人会买床单。就是如此,床单是唯一的、默认的推荐品。

尽管可笑,这个主意其实并不坏,默认的推荐也能给企业带来销售上的提升。但是,由于大数据相关技能的缺失,真正意义上的引擎未能实现。

提出了错误的问题

一家全球领先的汽车制造商决定开展一个情感分析项目,为期6个月,耗资1千万美元。项目结束之后,该厂商将结果分享给经销商并试图改变销售模式。然后,所得出的结果最终被证明是错误的。项目团队没有花足够的时间去了解经销商所面临的问题或业务建议,从而导致相关的分析毫无价值。

应用了错误的模型。某银行为判断电信行业的客户流失情况,从电信业聘请了一位专家,后者也很快构建了评估用户是否即将流失的模型。当时已进入评测验证的最后阶段,模型很快就将上线,而银行也开始准备给那些被认为即将流失的客户发出信件加以挽留。

但是,为了保险起见,一位内部专家被要求对模型进行评估。这位银行业专家很快发现了令人惊奇的事情:不错,那些客户的确即将流失,但并不是因为对银行的服务不满意。他们之所以转移财产(有时是悄无声息的),是因为感情问题——正在为离婚做准备。

可见,了解模型的适用性、数据抽象的级别以及模型中隐含的细微差别,这些都是非常具有挑战性的。

管理层阻力

尽管数据当中包含大量重要信息,但Fortune Knowledge公司发现有62%的企业领导者仍然倾向于相信自己的直觉,更有61%的受访者认为领导者的实际洞察力在决策过程中拥有高于数据分析结论的优先参考价值。

选择错误的使用方法

企业往往会犯下两种错误,要么构建起一套过分激进、自己根本无法驾驭的大数据项目,要么尝试利用传统数据技术处理大数据问题。无论是哪种情况,都很有可能导致项目陷入困境。

提出错误的问题

数据科学非常复杂,其中包含专业知识门类(需要深入了解银行、零售或者其它行业的实际业务状况);数学与统计学经验以及编程技能等等。很多企业所雇用的数据科学家只了解数学与编程方面的知识,却欠缺最重要的技能组成部分——对相关行业的了解,因此最好能从企业内部出发寻找数据科学家。

缺乏必要的技能组合

这项理由与“提出错误的问题”紧密相关。很多大数据项目之所以陷入困境甚至最终失败,正是因为不具备必要的相关技能。通常负责此类项目的都是IT技术人员——而他们往往无法向数据提出足以指导决策的正确问题。

与企业战略存在冲突

要让大数据项目获得成功,大家必须摆脱将其作为单一“项目”的思路、真正把它当成企业使用数据的核心方式。问题在于,其它部门的价值或者战略目标有可能在优先级方面高于大数据,这种冲突往往会令我们有力无处使。

大数据孤岛

大数据供应商总爱谈论“数据湖”或者“数据中枢”,但事实上很多企业建立起来的只能算是“数据水坑儿”,各个水坑儿之间存在着明显的边界——例如市场营销数据水坑儿与制造数据水坑儿等等。需要强调的是,只有尽量缓和不同部门之间的隔阂并将各方的数据流汇总起来,大数据才能真正发挥自身价值。

在大数据技术之外遇到了其它意外状况。数据分析仅仅是大数据项目当中的组成部分之一,访问并处理数据的能力同样重要。除此之外,常常被忽略的因素还有网络传输能力限制与人员培训等等。

回避问题

有时候我们可以肯定或者怀疑数据会迫使自身做出一些原本希望尽量避免的运营举措,例如制药行业之所以如此排斥情感分析机制、是因为他们不希望将不良副作用报告给美国食品药品管理局并承担随之而来的法律责任。

在这份理由清单中,大家可能已经发现了一个共同的主题:无论我们如何高度关注数据本身,都会有人为因素介入进来。即使我们努力希望获取对数据的全面控制权,大数据处理流程最终还是由人来打理的,其中包括众多初始决策——例如选择哪些数据进行收集与分析、向分析结论提出哪些问题等等。

为防止大数据项目遭遇失败,引入迭代机制是非常必要的。使用灵活而开放的数据基础设施,保证其允许企业员工不断调整实际方案、直到他们的努力获得理想的回馈,最终以迭代为武器顺利迈向大数据有效使用的胜利彼岸。

本文作者:佚名

来源:51CTO

时间: 2024-10-24 16:18:50

大数据失败案例提醒:8个不能犯的错误的相关文章

大数据失败案例之七宗罪

要实现大数据分析项目的最佳实践并非易事.正因如此,Gartner研究总监Svetlana Sicular题为"大数据7大失败案例"的报告吸引了思科工程师Karen Liu的注意. "我们正处于开始阶段,想了解下其他人正在做什么,有哪些成功案例."Liu说:"而所有的失败案例,也是我们必须学习并加以警惕的." 很多人有着和Liu一样的想法.Family Dollar Stores Inc.(美国知名折扣零售商,总部位于北卡罗来纳的夏洛特,最近刚被另

用大数据失败案例的血泪教训来诉说8个不能犯的错误

近年来,大数据旋风以"迅雷不及掩耳之势"席卷全球,不仅是信息领域,经济.政治.社会等诸多领域都"磨刀霍霍"向大数据,准备在其中逐得一席之地.然而,很多公司在迈入大数据领域后遭遇"滑铁卢".在此,本文盘点了一系列大数据失败项目,深究其原因,具有警示意义. 对数据过于相信 2008年,Google第一次开始预测流感就取得了很好的效果,比美国疾病预防控制中心提前两礼拜预测到了流感的爆发.但是,几年之后,Google的预测比实际情况(由防控中心根据全美就

大数据经典案例与谬误

1 纸牌屋案例提到大数据在互联网视频领域的商业应用,业界曾经流传着这样一个谎言--通过分析3000万北美用户观看视频的行为数据,发现凯文.斯派西.大卫.芬奇和英剧<纸牌屋>3个关键词的受众存在交集,由此预测将三种元素结合在一起的片子将会大火特火,因此成功推出这部剧集. 大数据 事实上,翻拍英剧<纸牌屋>的创意来自制片方MRC公司.当时这家电影公司正准备转型拍摄电视剧,并打算用自己手里积攒的电影资源大干一场,碰巧公司的一位实习生在飞机上看了这部英国旧剧集.也就是说,促使<纸牌屋

何鸿凌:电信行业大数据应用案例的实践及思考

"中关村大数据产业联盟"推出"大数据100分"论坛,每晚9点开始,于"中关村大数据产业联盟"微信群进行时长100分钟的交流.探讨. [大数据100分]何鸿凌:电信行业大数据应用案例的实践及思考 文:何鸿凌 主持人:中关村大数据产业联盟 副秘书长 陈新河 主讲人:何鸿凌 承办:中关村大数据产业联盟 何鸿凌,中国移动集团公司业务支撑系统部项目经理,高级工程师.1978年生人,2001年获得重庆邮电大学计算机应用学士学位,2014年获得重庆大学软件工程

《Storm技术内幕与大数据实践》一第9章 大数据应用案例

第9章 大数据应用案例 Storm技术内幕与大数据实践 本章中主要介绍了具体的大数据的应用,首先通过例子讲解了如何开发一个计算实时UV(Unique Visitor,是指不同的.通过互联网访问.浏览的自然人)数的程序,随后引入推荐.广告.搜索等常用的大数据应用场景. 在实际推荐系统的生产环境中,关联规则和协同过滤的推荐效果往往比较好,但是利用用户画像,结合时间.天气等上下文信息,可以进行一些更加精准化的推荐,因此基于画像的内容和上下文推荐也是很多公司不可或缺的一部分.大数据发展,离不开互联网广告

八个典型的大数据应用案例

什么是大数据?不要再举例说啤酒和尿布的例子了,Gartner的分析师Doug Laney在讲解大数据案例时提到过8个更有新意更典型的案例,可帮助更清晰的理解大数据时代的到来. 1. 梅西百货的实时定价机制.根据需求和库存的情况,该公司基于SAS的系统对多达7300万种货品进行实时调价. 2. Tipp24 AG针对欧洲博彩业构建的下注和预测平台.该公司用KXEN软件来分析数十亿计的交易以及客户的特性,然后通过预测模型对特定用户进行动态的营销活动.这项举措减少了90%的预测模型构建时间.SAP公司

大数据国家案例:韩国大平台优化市民生活

智慧城市是推进信息通信产业发展的核心动力.国际电信联盟今年2月在相关报告中预测,今后10年,智慧城市将成为城市发展的范例,而韩国首尔是其中最具代表性的城市.首尔市政府在"智慧首尔2015"计划中,提出"利用大数据解决市民小烦恼"的口号,下大力气构建智慧城市所需基础设施,促进信息技术和公共服务产业的进步与发展,努力打造以人为本.以信赖为基础的有创造力的智慧都市. 大数据是智慧城市发展的新亮点 金先生是首尔市江南区一家公司的新职员,几乎每天都要加班到夜里11时之后,只能

实施大数据项目需要牢记避免的6个错误做法

大多数组织为其成功实施项目工作,都已经制定了一套大数据的最佳做法.当涉及到大数据和分析时,列出企业应该远离的陷阱清单也同样重要.以下是企业实施大数据项目中要牢记的六个注意事项,是大数据项目实施中不要犯的错误做法,以保持业务具有较低的风险和高成功率. 1.没有适当的大数据计划 最成功的大数据计划是建立一个强大的大数据和分析的基础,并使用它们.最好的方法是通过创建一个新的大数据交付的恒定路径,并逐步提高组织的能力,以提供更丰富和更好的数据的策略,并解决操作问题. 2.让事情变得复杂 仪表板和电子表格

一小时了解数据挖掘①:解析常见的大数据应用案例

本文为系列文,该篇为第一篇.下面是正文: 简而言之,数据挖掘(Data Mining)是有组织有目的地收集数据,通过分析数据使之成为信息,从而在大量数据中寻找潜在规律以形成规则或知识的技术.在本文中,我们从数据挖掘的实例出发,并以数据挖掘中比较经典的分类算法入手,给读者介绍我们怎样利用数据挖掘的技术解决现实中出现的问题. 数据挖掘是如何解决问题的? 本节通过几个数据挖掘实际案例来诠释如何通过数据挖掘解决商业中遇到的问题.下面关于"啤酒和尿不湿"的故事是数据挖掘中最经典的案例.而Targ