企业没有大数据,只有坏数据

PayPal 联合创始人兼风险投资人彼得·蒂尔(Peter Thiel)经常抱怨科技圈一直在过度使用像“云端”和“大数据”这样的流行词。虽然他 不是唯一一个长期表达这种观点的人 ,但是大部分企业似乎仍然没有充分理解这条信息。

很多企业经常会吹嘘自己拥有多少 TB,甚至是 PB 的数据量,还有它们的大型数据科学家团队正在使用 Apache Kafka 流运行海量的 Hadoop 集群,这些企业认为这些都是它们的竞争优势所在。

然而,事实上它们当中的大多数都遇到了计算机领域的一个老生常谈的问题:无用输入,无用输出(garbage in, garbage out)。它们不仅没有符合大数据定义的数据复杂度或数据量,而且它们拥有的实际上是劣质数据,它们的业务甚至有可能会因此蒙受损失。根据 Experian Data Quality 的数据,88%的企业的收支情况都会受到不准确数据的影响,而且受影响的营收比例高达 12%。

优质的大数据

部分企业确实拥有优质的数据,而且知道如何运用它。从像谷歌这样的成熟网络公司,到像波音这样的工程背景企业,下文列出的企业都能够成功地管理海量的数据,并将其用于实现真正数据驱动的决策。

Netflix:为用户提供他们想要的东西。 占据美国三分之一互联网高峰流量的 Netflix 会收集大量关于用户观影习惯的数据,而且它还可以将这些数据按照地区、观看时段、观看时长等各种项目进行细分。这种方式使得他们能够准确地预测观众喜欢的内容。

能够很好的证明这点的例子是,Netflix 现在已经从一个 DVD 点播和流媒体服务发展成为一家独立的影视制作公司,诸如《纸牌屋》和《女子监狱》这样的热门剧集都是他们的作品。他们的原创剧集甚至摒弃了传统的单集试播模式,而是而是选择一次性地制作整季的剧集。

IBM和 The Weather Company:理解天气对业务的影响。IBM 已经和 The Weather Company 建立了合作关系,它们将各自的海量数据组结合起来,并从中分析出天气对公司业务的影响。这项分析涵盖了从零售业到保险业等各个领域,它们能够准确的提供实 时的分析结果,例如温度变化对销量的影响,或者保险公司如何通过建议客户驾车出行的方法来节省成本。

西奈山伊坎医学院:预测病人的健康。 这所位于纽约市的医学院已经任命了杰夫·哈默巴赫(Jeff Hammerbacher)——Facebook 的首位数据科学家担任一个计算机开发项目的主管,这个项目的目标是分析他们每年收治的 50 万位病人的医疗信息。

在西奈山基因组学与多尺度生物学研究院院长的协助之下,他们正在研究如何做出能够降低医疗成本的预测——例如通过分析病人的既往病史和风险因素来确定他们所需的治疗频率,或者为医生提供来自基因组学和实验数据收集得出的风险模型,帮助他们为病人制定治疗方案。

亚马逊:设立客户服务的新标准。 亚马逊拥有前所未有的用户数据——从他们正在阅读的书籍到他们补充化妆棉的频率。正当其他公司都将客户支持放在次要地位的时候,亚马逊已经将其变成了自身 业务的一个重点,它非常强调与消费者进行直接沟通的重要性。凭借自身丰富的用户数据,亚马逊能够在用户有需要的时候立刻提供相关的信息,在简化客户服务流 程的同时还能巩固他们的忠诚度。

施乐:减少员工流失。 工作经历一向都是新员工招聘当中的一个重要参考因素,但是在为自己的电话服务中心招聘的时候,施乐发现了一个完全不同的参考标准,这点使得它更容易找到合 适的人才。施乐利用大数据分析发现员工的个性才是决定他们留任与否的真正因素——富有创意的人会更倾向于坚持下来,爱管闲事的人则不然。在掌握了这些信息 之后,施乐开始通过应聘者调查(而不是招聘主管的决定)为自己的电话服务中心进行招聘,最终使得它所有电话服务中心的半年员工流失率下降了 20%。

然而,大部分企业都不能很好地利用数据。

劣质的大数据

一直以来,企业都没有花时间去思考它们应该收集什么数据,还有采用怎样的方式来收集数据。在数据的海洋中,他们不是使用长矛精准地捕捉渔获,而是习 惯于一网打尽,结果它们收集到的是一堆没有任何预先计划和结构条理的垃圾。这种对困难决策的拖延态度导致大型企业的数据科学团队只能将大部分的时间花在清 理、分类和组织数据之上,而且这些工作只能使用手动或者半自动的方式来完成。

“利用智能、实用的数据进行发展是每家企业都应该追求的目标。”

美国政府最近任命的首席数据科学家 DJ·帕蒂尔(DJ Patil)很好地总结了数据的问题 ,他表示,“你在开始之前必须懂得一个非常基础的概念:数据是混乱不堪的,而且数据清理工作总会占据 80%的时间。换句话说,数据本身就是问题的所在。”

然而我们看到的也并非只有坏消息。根据产业研究公司 Wikibon 的数据,在企业对数据工具投资当中,有 52%的资金流向了用于采集和组织数据的技术之上,让数据的获取和分析变得更容易。但是处理这个难题的关键也许不只是在更多或更好的工具上投资。

为你的企业应用大数据

如果要将企业真正转变为一家以数据为导向的公司,以下是一些值得关注的指引和方法,它们经过了世界一流的数据公司的实践检验。

了解你自己。 从了解你需要分析的数据类型开始——你要的是事件数据、财务数据、图表数据还是其他东西?在确定你需要以怎样的程度来收集数据的时候, 这是最重要的考虑因素。

不要过度授权。 许多企业都会将建立分析的工作交给外包开发者或者 IT 部门负责,没有让真正的商业用户参与其中——那些准备使用这些数据的人应该准确了解数据的收集和汇总方式,这是至关重要的一点,因为这样可以避免他们在使用的过程当中出现重大的问题。

确定使用实例。 作为“不要过度授权”的推论,企业也不应该让商业用户给出过于宽泛(例如,“我们想要追踪销售的来源”)或者无关紧要的使用实例。每一份数据都应该符合某 一个分析架构,而且可以用于解决某一个问题。这里就需要指派一位技术性很强的商业用户或者具有商业头脑的技术领导负责最终的决定。

从源头抓起。 无用输入,无用输出。请确保你对数据的来源和类型了如指掌。你的数据从何而来?它足够准确吗?如果你不知道这些问题的答案,那么你应该开始认真思考了。

使用合适的工具来完成工作。 现在已经有很多非常优秀的分析工具。在确定了你的商业用户和终端用户的重点使用实例之后,你应该进行一个正式的比较流程,根据你自己的需求剔除一些你永远都用不上的高级功能。

大数据本身是愚蠢的。利用智能、实用的数据进行发展是每家企业都应该追求的目标。

本文作者:Jeremy Levy

来源:51CTO

时间: 2024-10-24 09:21:20

企业没有大数据,只有坏数据的相关文章

企业对大数据不要只有憧憬,想要赢利,还需做到这一点

大数据在企业中拥有着前所未有的重要性,这在一项最新出炉的调查报告中清晰的展现出来:接下来的几年中,有76%的企业将会加大或继续保持在大数据上的投入,然而相对遗憾的是,只有23.5%的企业拥有清晰的大数据战略. 这和三年前Gartner的大数据报告遥相呼应,当时有64%的企业表示他们不会错过大数据带来的绝好机遇,但也和现在一样,绝大部分的企业并不清楚能够从大数据仓库中获得什么价值. 我们无法将这个情况作出更好的解读,只能说大家都在闭着眼睛飞翔. 越来越大! 这项调查是咨询公司DNV GL Busi

小企业的大数据:一站式数据管理

7月22日消息,美国有句谚语"除了上帝,任何人都必须用http://www.aliyun.com/zixun/aggregation/8319.html">数据说话",从目前来看,我们正处于一个大数据无限发展的时代,就连最热门的巴西世界杯冠军--德国,据传也是利用一款大数据分析"工具"为胜利添置更多筹码.在商贸流通领域的小微企业管理中,商品.账务.现金流等数据量更庞大.操作及更新频率更高,"深知用户心",一款优秀的商贸管理软件,除

大数据塑造的企业十大发展趋势

大数据咨询公司Think Big的CEO兼创始人Ron Bodkin曾经这样表示:"尽管大数据的发展缓慢但是却在坚定地改变着企业做业务的模式.每一个行业都有着不同的使用案例,大数据释放出一种利用数据工作的能力,这种能力长期受到了压制.现在终于有了大量被压抑的需求被释放了出来." 下面就是正在塑造大数据和企业未来的十大趋势. 1.机器数据和物联网将占据中心舞台 虽说情绪分析和点击流数据分析仍将是大数据领域中的重要事情,但是及其数据的重要性将会越来越大.从RFID标签和工业仪器,到喷气发动

从BAT看企业构建大数据体系的六层级

文章讲的是从BAT看企业构建大数据体系的六层级,本文将企业大数据体系的构建分为六个层级,但并非是线性过程,每个层级之间或有基础关系,但并不是说一定要逐层构建.例如创业型公司,在缺乏数据研发实力的时候,多数会借助第三方平台进行数据上报与分析.下面一张图,是本文的精华概括,后面一一展开与大家探讨. 一.数据基础平台基础的数据平台建设工作,包含数据平台建设,数据规范,数据仓库.产品数据规范,产品ID,用户ID,统一SDK等.很多公司的数据无法有效利用,就是缺乏统一规范,产品数据上报任由开发按照自己的理

企业实施大数据的五大关键(更新版)

刚刚过去的2016年,是大数据从概念到务实落地的一年.在过去的一年内,互联网行业.电信行业.金融行业.房地产行业.汽车行业.娱乐行业.教育行业.零售行业.能源行业.医药行业.政府机关等都在不同程度的接触和实施大数据.很多正在实施大数据的企业或机构并不成功,为什么?他们实施大数据都存在共同的问题,最为典型和严重的是三个问题是: 问题一:业务部门没有清晰的大数据需求和规划 很多企业业务部门不了解大数据,也不了解大数据的应用场景和价值,因此难以提出大数据的准确需求. 由于业务部门需求不清晰,大数据部门

探讨:数据驱动型企业与大数据商业模式

本文讲的是探讨:数据驱动型企业与大数据商业模式,2012年7月13日消息,2012第二届大数据世界论坛今天在北京开幕.本次论坛邀请了Forrester Research资深分析师曹宇钦 .IDC中国高级分析师周林等权威第三方咨询机构;微软亚太研发集团首席技术官孙博凯.赛仕软件中国总经理刘政.甲骨文大中华区技术总经理喻思成.Splunk亚太及日本区域副总裁刘文熙等业界主流厂商高层;以及支付宝首席商业智能官车品觉等来自金融.电信.电子商务.制造业等重点应用行业的用户嘉宾等都将与会于业内专业人士面对面

物联网时代制造企业对大数据的运用分析

文章讲的是物联网时代制造企业对大数据的运用分析,每个人都是数据产生者.拥有者和消费者, 有人已经预言未来的时代是一个"大数据"的时代,关注大数据的人越来越多,同时 物联网的出现与发展推动了数据采集的能力,为数据库的建立提供了有力的支撑.数据的采集处理应用将成为时代的发展主题. 大数据对促进供应链中的生产环节产生了前所未有的巨大影响,每个企业都有自己的规划和自己企业在运营环节的管理最佳实践,在众多的运营决策改进里面,大数据的影响包括产品设计,质量控制,客户画像等等.下面从八个方面介绍大数

企业部署大数据准则:安全问题应未雨绸缪

"安全与隐私"自大数据概念诞生以来便一直伴随其左右. 在这个数据大爆炸的时代,企业通过大数据可以更加高效的洞察和预见消费者行为以及行业趋势,但同时也伴随着安全性的困扰.能否保护自己的隐私安全.信息安全,成为了企业部署大数据之前摆在面前的首道难题. Hadoop作为大数据的首选平台,从开发之初也一直被笼罩着安全性问题. 曾有开发者指出,"当Hadoop在2004年开始开发的时候,对如何创建一个安全的分布式计算式环境上没有考虑,Hadoop框架对用户及服务的验证和授权严重不足,用

IDC:欧洲企业对大数据缺乏理解

虽然大数据日益升温,但还是有很多企业并不真正了解.很多企业甚至认为,大数据就是http://www.aliyun.com/zixun/aggregation/13584.html">海量数据存储,并不包括数据分析本身.为此IDC近日就此表示,这些不懂大数据的企业将丧失发展机遇. 近期在伦敦召开的2013数据中心世界大会上,IDC市场调研机构EMEA系统和架构研究主任Donna Taylor表示,很多欧洲企业对大数据缺乏理解.令人惊讶的是,有44%的受访者计划通过存储扩容来应对非结构化数据的