导读大数据项目的成功或许不可复制，但从失败中汲取教训同样很有意义。作者从本人实践项目入手，从商业目标、商业案例、项目管控、沟通、技能等角度分析其失败的原因。
过去六个月里，我发现大数据项目的总量正在以惊人的速度增长着，大多数与我合作过的公司都计划在接下来一年内，进一步拓展大数据项目的领域。其中，许多项目都被报以很高的期望，但大数据项目，远没有想象中那么简单。我认为，其中半数的大数据项目最终都无法达到他们的预期。
失败的原因是多方面的，许多显而易见的问题或者影响因素都会对大数据项目造成致命的打击，项目也会因此走向最终的失败。与许多不同规模形态的公司合作过后，我了解到这些危险因素其实是非常常见的。失败的项目往往有一个共通的原因 — 缺乏前期充分的项目规划。
根据我参与过的大数据商业化项目经验，在这里列举了几个我工作中最常见的失败原因（顺序不分先后）。
1缺乏明确的商业目标
Not starting with clear business objectives
人们很容易因炒作而盲目跟从，显然大数据已经被炒作了起来。许多人（包括我）正在叫嚷着大数据如何不可或缺，如何像诺亚方舟一样拯救世界，就好像其余的船只终将被大浪摧毁，只有大数据这艘诺亚方舟能驶向彼岸。由此看来，许多人跳过“为什么做”直接思考“如何做”也就不稀奇了。
登上大数据方舟的人们往往会忘记，商业化分析的核心在于解决现有问题，所以说在展开商业化大数据项目前要明确待解决的问题是什么。
我曾经与一家航空公司合作，该公司带着超级的热情投入一系列大数据项目中——从乘客的饮食偏好到航班延误对饮品销量的影响，不放过任何一个环节的信息采集和分类。
我的另一个客户是一家零售商，独立运行中的大数据项目多达258个！一些项目比较有趣，例如根据库存量及销售量进行数据挖掘，他们发现有一种酒在周二销量特别好，如果是下雨的话销量往往会更好。然而，知道这些又能解决什么问题呢？不可能因为周二一天的销量就打乱已经预先分配好的货架空间。最多也就是确保每周二进行常规性的补货，保证货架容纳空间饱和。只从这个案例看，这样的数据分析，并没有为客户提供长足的增长或积极的改变。
也许在众多的项目里，会侥幸有某一个有趣的数据分析维度解决了实际问题，但这样做其实是非常低效的。这就有点儿像考试的时候，答题的人根本不在乎题目到底问的是什么，只顾埋头写下这门课自己知道的所有内容，抱着侥幸心理希望其中能包含考官要的正确答案。
2没能塑造出成功的商业案例
Not making a good business case
许多人带着一种“大家做我也做”的心态去开展大数据业务，因此，这个领域的门槛也在不断地下降。这是一件好事，一方面，人们越来越容易地随时谁地获取开源软件。另一方面，越来越多的公司开发“服务型软件”（SaaS，software-as-a-service），极大地降低了基础设施的投资成本。再加上很多像我这样的人总是会说，这个行业如逆水行舟，不进则退，你不作为就会被别人横甩十八条街。这样一来，会有更多的人盲目地进入大数据行业。
这些都是真实现状，但要明确你的大数据项目为何而生，需要多少时间和资源。你需要确保收集来的大量数据，尤其是大数据，一定是干净安全的数据，否则你很可能需要在将来为这些不干净不安全的数据支付大量成本。简言之，在项目启动前，你要明确项目是不是真的需要大数据。如果你说不清道不明，那就请想明白再行动。
3项目管控失误
Management Failure
我承认，几乎任何失败项目都会在管控环节上存在问题，这是一个放之四海而皆准的项目失败原因。但我想强调的是，一位经验丰富的大数据科学家，年薪一般在10万美金以上；除了这部分投入，大数据项目还需要投入大量的时间和各种资源。这种情况下，管控失误会产生灾难性的后果。
有时候，攥着钱袋子的人并没有将项目相关的长期或持续性的费用纳入考虑。或者，有时候高级项目经理与在实验室里的数据科学家沟通成效不大。许多高级项目经理做到今天的位置全是凭直觉凭胆量，所以有时候高级管理经理们不会相信那些大数据的算法，他们不会试着让电脑去指挥他们做什么。
管控不善包含很多方面，最典型的案例就是NHS（英国国家医疗服务体系）的国家医疗信息化项目。这个项目计划将所有病人的电子病历录入到中央数据库中，项目总投入超过100亿英镑（约合972亿人民币，156亿美元），但随着项目的失败，最终被描述为“IT业内有史以来最大的败笔”。4沟通不畅
Poor communication
“大数据都让书呆子似的科学家和唯利是图的企业承包了”——这样说未免有失偏颇，对科学家们和各大企业都不公平。但是，这个说法可以用来体现沟通的重要性。商业化大数据是学术与金钱的产物，一方面是实验室内的分析性、实验性科学，另一方面是追求利润和业绩的销售团队以及董事会成员。这两者本就不是志同道合的伙伴，再加上信息在传递过程中难免会有缺失，这样的沟通不畅很可能会造成灾难性的后果。
在我看来，“挑战者号“航天飞机的灾难就是一个实例，虽然那个时候还没有大数据这个概念，但这个灾难依旧是可以避免的。当时NASA（美国国家航空航天局）的分析师在处理来自航天飞机上传感器的大量监测数据，在他们提供给地面控制中心的高层领导的报告中，充斥着大量的细节数据，这其中就包含很重要的坠毁的风险信息。如果地面控制中心能在繁冗的数据报告中发现这个风险信息，或者如果分析师们能把报告命名为“坠毁风险测评因素—高级别风险报告”这种重点突出的标题，事情可能会有一个不一样的结局。
但有时候吃一堑并没有长一智。负责撰写报告的人应该考虑到“这份数据的目标读者是谁，怎样包装才能保证信息的准确传达”。我曾为一家医疗公司做分析咨询，这家公司最近为高管层提供了一份长达217页的报告。我们最终将这份报告缩减到15页，用图表来代替大量文字，在不丢失信息的基础上还将报告以更加简洁的方式展示。
5缺乏工作中的必备技能
Not having the right skills for the job
或者更准确地说是，在必要时刻，缺乏必备技能。正如我之前对案例的阐释一样，在没有考虑清楚项目对资源未来影响的情况下，企业就直接启动大数据项目。经验丰富的数据科学家团队无疑是非常宝贵的资源。在我看来，没有明确目标盲目开始的项目，一般很难发现自身的问题，除非他们在恰当的时机得到了宝贵的项目分析意见，并且寻得经验丰富的员工加入团队。
物以希为贵，数据科学的从业者亦是如此。企业需要突破思维定式来解决这个问题。例如我的一个银行客户，他的团队中有许多商业分析师，既没受过大数据的相关培训，也不是数据科学家。我建议他给现有分析师进行定制化的大数据培训，因为商业分析与大数据这两个学科其实有很多技能交叉，这要比雇佣一个全新的专家团队要便宜得多。我们会在培训前鉴定出关键技能的区别，并为客户量身打造制定化的大数据课程，帮助商业分析师转变为大数据科学家。我们的课程还融合了许多的在线资源，这部分在线资源的课程可以为所有人免费提供必要的基础课程。除了培训之外，有些学院或大学还会提供学生和学术教授的人力资源，为企业提供商业化的分析。现今，银行也会为那些使用银行商务数据库做研究论文的博士生们提供相应的资助。
拓展阅读NHS项目失败简史
National Programme for IT 简称 NPfIT，即全英医护IT计划或国家医疗信息化项目。该计划于2002年开始实施，目标是实现患者医疗信息可在全国范围内进行共享，全面实现英国国家卫生服务系统（NHS）所有信息系统标准化，用10年时间为每一个英国公民建立“从生到死”的全生命周期电子病历系统。
整个NPfIT项目采用“集中式”技术架构，由5个集群构成，主要集成商为British TeleCom（英国电信）、Atos Origin（源讯公司）、Accenture（埃森哲）、CSC Alliance(CSC)、Fujitsu Alliance（富士通）, 主要产品和技术提供商为CSW、IDX(已被GE收购)、Cerner、iSoft等，总合同额约为61.1亿英镑，堪称欧洲最大的计算机商业项目。
然而，该计划饱受争议。到2004年之后，该项目的一些问题逐渐暴露，设计者没有充分考虑医生的专业需求和医疗服务的多样性，新的系统并未带来新的功能，承诺的关键系统不能交付使用。到2006年时NPfIT项目已投资达130亿英镑， 大大超出了预算。此外，采用集中式IT 技术架构，不能适应不同医疗专业的服务要求，存在严重的性能和功能拓展问题。系统集成商和产品技术供应商不能兑现其合同承诺，设计的系统实用性差。最终导致失败，并被描述为“IT业内有史以来最大的败笔”。
原文发布时间为：2015-05-25