数据驱动的迷思

身为一名七年的数据从业者,对一些专业概念尚不能准确的描述。比如什么是大数据?我虽然从2008年开始做这块的东西,但国内到了2011年的时候才兴起了这一概念。我花了三四年的时间,也不能对其有一个准确的把握。就在前天,我把我对大数据的认识拿出来和团队交流时,也产生了多处分歧,甚至有成员提议不要提“大数据”这一名词。可有客户就是被“大数据”这一概念吸引过来的,你绕开这块不讲可不行。同样,对于什么是数据驱动(Data-driven)?我依旧不能给一个准确的描述,这也许是一个新事物在发展过程中必须经历的阶段,等到尘埃落定,没有分歧的时候,也是它寿终正寝的时候。虽然无法准确定义数据驱动,但我却能通过一些对数据驱动的似是而非的认识(迷思,Myth)做一个剖析,然后再做一个总结,我们对它的认识就会更进一步了。

迷思一、KPI就是数据驱动

KPI是Key Performance Indicator的缩写,指关键绩效指标。我们在衡量目标是否达到时,最好能够有一个能够衡量总体效果的标准,这就是KPI。KPI通常是一个数字,比如今年某一企业的销售目标是5000万元,国家的GDP增长要不低于7.5%,小米手机的出货量要突破1亿。这些KPI可能是基于以往的表现评估得出的,也可能是拍脑袋的。有了KPI,组织就有了明确的目标,组织内部就按照这一目标,层层向下分解,只要每个基层完成了任务,那么组织整体的KPI就可以达到了。这种方式的好处有一堆,坏处也有一堆,咱们在这里就不论证了。咱们只讨论KPI是否是数据驱动?

KPI有一个典型特点是自上而下的,先有了一个数据,然后上下齐心协力把这个数据给坐实了。这种方式有可能是不切实际的,比如中国历史上的大跃进运动。这种方式不是先有了数据,从数据出发,再做新的决策。KPI的达成过程,是组织通过努力驱动数据的过程。正好是我们说的数据驱动相反的模式。

迷思二、有了仪表盘就是数据驱动

不管是稍大规模的传统企业,还是任何规模的互联网企业,仪表盘已经是标配了。通过仪表盘,我们可以监测到公司的总体运作情况。对于公司的创始人来说,有了仪表盘,就可以对公司总体做决策了。但对于产品、运营等具体干活的人员,这可就傻了眼了。明明昨天一个机房挂了,但流量还在涨。只看到总用户量下跌了,但仪表盘上根本看不出来原因。如果想要进一步研究问题,必须对数据进行进一步的下钻,这又超出了仪表盘的承载能力。难免对有些成员来说,这些泛泛的指标很难指导决策,不看也罢。

迷思三、有专职数据工程师跑数据就是数据驱动

工程师老王(本来写的是小张,团队的小张同学抗议,后来改成老王,团队的王姓同学说他老婆总叫他老王。。)负责处理所有跑数据的需求。运营同学相对上个月的活动效果进行一个评估,提了一个统计数据的需求。产品同学拿到了新功能上线的用户数据,发现比上线之前还降了?这一定是统计程序写的有问题。我们再来看看干活的老王,每天干着没有尽头的跑数据的工作,为了能够让自己不过早累死,就制定了一个复杂的数据需求规范,让那些想要跑数据的同学费一般功夫才能提过来,拉长周期,要是写的不合格,直接让需求提出者回去重写。老王已经尽力了,可因为需求提出者太多(在一个产品发展超过一年,就会出现这种情况,除非产品快挂了),后提的需求需要经过很长的周期才能满足,有些同学可能觉得提数据需求太麻烦,干脆还是换做拍脑袋吧。

这种模式下看似也能运转的通,但实际许多需求被压抑了,被强制串行化。

迷思四、每个需求都是一个新的脚本

在创业公司,多面手居多,有的甚至是全栈(什么技术活都能干)。产品运营同学或老板有了数据需求,某位同学可能三下五除二就搞定了。写了一个只有他一个人能看懂的脚本(脚本是一类开发效率很高但是运行效率可能较低的程序代码,比如用perl、python等编写。)。这久而久之,就出现了一堆不同的人写的不同的脚本。如果来了新人,十有八九会交给新人去维护。因为这些脚本写的时候图快,并不会做code review,甚至连跑的数据是否正确都不能保证,那代码质量可想而知。特别是如果有人专门负责写统计脚本,那干三个月还行,觉得能够学到不少的知识。干六个月的时候,就有点腻了,发现都是重复的工作。干到一年的时候,十有八九会想走人。如果小李是接手者,发现上百个脚本,看不懂,看不完,就只能骂娘了。

工程师都是乐观主义者,对于某个数据需求,总会说这很简单,给我10分钟就搞定了。而实际要把这个脚本变成可用的任务,可能要花费两天时间。许多数据需求是例行的,那么就需要管理数据源、生成的中间数据、最终结果的发送,那么想要维护好,就不是那么容易了。更何况数据源头的格式可能发生变化,那么所有的脚本可能都跑出了错误的数据。这让我想到2008年,我刚加入百度新产品部统计团队时。当时共有20台统计机器,有500~600个统计脚本,共有两个工程师负责开发维护,新需求处理不过来,已有任务总是出问题。于是经理才痛下决心,安排我们去做一个系统来解决这一问题。

回过头来看数据驱动

前面我们看了几个不那么数据驱动的例子,接下来我们看看数据驱动应该是什么样子的。数据驱动的理想状态应该是人人都是数据分析师,每个参与业务的人能够直接和数据打交道,有了问题,可以直接从数据中要结论,并且数据的获取,不依赖于第三者,不像前面提到的有那么一个中间人老王。为了达到这一点,有许多的工作要做,比如数据源要采集全,数据模型要化繁为简,强大的分析工具等,这是一个系统工程。

本文作者:桑文锋

来源:51CTO

时间: 2024-11-09 00:31:44

数据驱动的迷思的相关文章

关于大数据的五大迷思

目前,大量企业拥有海量的客户信息,包括在线交易记录及社交媒体数据等.但是,成功的关键是要能够从不同渠道和来源的数据中洞察价值,而具备收集并分析这些数据能力的企业将在竞争中拥有显著优势. 但是,数据的非结构化已经成为企业的重大挑战.企业已经熟悉收集和分析结构化数据,如传统的销售年报信息.目前,许多企业都困惑于如何收集和分析更多类型的多结构化数据,如网络日志.无线电射频识别(RFID).传感器网络.社交网络.互联网文本和文件.互联网搜索索引.详细通话记录.医疗记录.摄影档案.视频档案以及电子商务交易

关于数字化转型的五个迷思

你也许对数字化转型是什么略有耳闻,但是数字化又不是什么呢?看看专家如何破除关于数字化业务运营的迷思并解释为什么仅凭IT是做不到的. 如今,IT经理们在数字化他们的机构时感到压力时是情有可原的. 学者,调研公司,甚至是本媒体都在推广这样的想法,就是机构可以大大地改善绩效并战略性地将数字技术应用到机构和运营的过程中,从而开辟崭新的业务范围. 尽管有着铺天盖地的宣传和数十年的IT基础设施的投资,只有很少的公司达到目的. 在196位回应<计算机世界>的2017年技术预测调查报告的IT经理,董事和总裁中

私有云之迷思:未来是什么?

本文讲的是私有云之迷思:未来是什么?,[编者的话]非常好的一篇文章,作者从OpenStack目前的困境讲起,聊到了私有云的产生背景,进而介绍了云计算的发展史.从云计算诞生的初衷以及现在流行的分布式应用又延伸出自己的核心观点:服务器和虚拟机都不会消失,但我们与它们之间直接的互动将会越来越少. 私有云市场日渐式微,但千万不要怪OpenStack.因为从一开始,关于私有云的想法可能就错了. 如同AWS被认为是云端服务标准,VMware被认为是本地服务器虚拟化标准,而OpenStack则被一度誉为是VM

一名风险投资人总结的创业者们十大迷思

  我最近成了一名风险投资人,所以经常可以遇到一些创业者[1]在创业时常犯的错误.为了避免一遍又一遍的重复说教,我想把这些错误在这里做一个总结: 迷思一:一个好想法就可以让你赚大钱 事实是好想法对于商业成功既不是充分条件也不是必要条件.微软应该算是获得商业成功的典型,但是在它的整个发家史上却找不到一个完全独创的"好想法".事实上微软正式通过模仿对手的想法并在竞争中打败对手而一步步发展壮大的.Google确实有一些独创的,像Page Rank,Ad-words,廉价机器集群等.但是这些没

Web 2.0的迷思与真实

中介交易 SEO诊断淘宝客 站长团购 云主机 技术大厅 我连续好几个月,用不同的角度.层级及方法,说明了「小圈圈」这种在 Web 2.0 时代尤其需要被重视的人际关系.无独有偶,黄彦达最近在<数字之墙>中,也明白指出(人与人的)「关系」纔是 Web 2.0 的重点. 不过,在小圈圈.在人际关系之外,许多人口中的 Web 2.0 还充斥着各式各样的迷思,觉得 Web 2.0 就是如何如何,或者如何如何即能成就 Web 2.0:我在最近的一场公开演说中,恰好准备了一份「额外附赠」的讲题,谈论到 W

Google工具条PR更新与排名变化的迷思

这几天Google工具条PR又在更新了.我感觉更新还没结束,显示PR数据准确性很值得怀疑. 现在对Google PR更新本身越来越不感兴趣了.因为基本上没有大的造链接活动,PR值也不会有什么太大变化了.不过看到网上有一些关于PR更新及网页在Google中排名变化的一些迷思,觉得还是有必要把自己的一些理解跟大家介绍一下. Google工具条PR不是真实的PR 大家所看到的工具条上显示的绿色条,更准确的应该称为可见的工具条PR值,而不是Google内部用于排名计算的真实PR值. Google真正使用

互联网内容生产迷思

中介交易 SEO诊断 淘宝客 云主机 技术大厅 人类自诞生以来,就存在着各种各样的迷思,有的迷思自己就能够解答,过程被称之为求知.有的迷思需要别人的帮助,被称之为问道.这样的迷思大多数某个具体问题或者是问道者身处局外,最终也能够得到解答.最让人难以忍受的迷思是,自己身处这盘棋局之中.进而对于系统的迷思.要解答这样的迷思,就需要跳出去. 让我们试着跳出互联网之外,以一种较为超然的视角,审视一下互联网内容的是如何产生以及运行的. 营销驱动下的内容生产 80%乃至以上的互联网内容生产都是以营销作为驱动

转评译文:解开创业者们的十大迷思

前言:看到共鸣的文章我现在往往会转过来,然后加上一些说明跟注解,o(∩_∩)o...,自己文笔越来越差了,不过思考的心不分彼此吧,o(∩_∩)o...于是转之然后搞个加强版) 以下是正文: 我最近成了一名http://www.aliyun.com/zixun/aggregation/17479.html">风险投资人,所以经常可以遇到一些创业者[1]在创业时常犯的错误.为了避免一遍又一遍的重复说教,我想把这些错误在这里做一个总结: 迷思一:一个好想法就可以让你赚大钱 事实是好想法对于商业成

点评的突破(三):真实性的迷思

(文/谢震)我对互联网上的信息问题有个很粗浅的分类: &http://www.aliyun.com/zixun/aggregation/37954.html">nbsp; 1.  信息的丰富性.从互联网诞生的那一天就基本解决了 2.  信息的对称性.各种web2.0的方式为此做出了巨大贡献 3.  信息的相关性.这是搜索引擎努力的主要方向 4.  信息的真实性.尚无整体的解决方案.SNS很大的价值在于它能部分地解决这一问题 点评类网站在解决信息相关性的问题上具有天然的优势.当访问大