大数据泡沫时代:是时候对大数据回归理性了

  

  大数据时代来临,社会对数据人才的理解和评价存在泡沫,是时候需要回归到理性。从智联网的招聘信息看到,很多公司招聘高级数据分析,都特别提出类似的要求:熟练使用SAS、SPSS、R等工具。这些软件都是统计软件,里面的算法都是上个世纪不懂公司业务的人弄出来的。既然是统计领域的知识,为什么特别强调这部分知识呢?其他知识重要性都较轻吗?公司不需要?

  很多公司招高级数据分析如此,阿里巴巴数据分析专家卢辉写的书也有类似的问题。很多人都有光环效应(他们认为由于阿里的数据厉害,所以阿里的数据分析专家写的都是对的,其实阿里发展好,是整个团队多年努力出来的)。目前开始有些相对聪明的人慢慢从这个泡沫中从模糊中感觉到不妥,而我本身就是读统计的,由于敢于说真话让我先后被两个中国新闻人物器重和教导。经验不是一篇文章就能说清楚,我这里只说说我对阿里巴巴数据分析专家卢辉著的书《数据挖掘与数据化运营实战》,下文简称卢书的一些看法,希望推动社会对数据人员的认识更理性。

  笔者去年年底看了卢书,有些地方跟笔者有共识,但是书上也有很多问题。

  先举个例子,大家都知道同样头晕,病根可能是不同的,所以学医的学生全部科目都要学,实习要全部科室都走一趟。如果医生知识面不够广的话,就容易误诊。如果你同意上面例子的话,那么统计方面,知识面不够广就会有问题,这结论大家就能理解了。

  例如卢书第17页提到“数据挖掘很多时候并不需要特别专业的统计背景作为必要条件,不过需要强调的是基本的统计知识和技能是必需的”。什么才算基本?懂法律才算最基本吧?统计法规定统计的职权是调查、报告、监督看出,国家强调的是调查,不是统计分析。而第2章提到统计分析与数据挖掘的差异以及书后面介绍的内容,看出卢书作者对统计的认识只停留是统计分析上。这样有什么问题呢?

  第6章数据挖掘项目完整应用案例演示,提到某公司存在用户流失的情况,大家都很自然想到调查原因,有些原因可以通过分析日志记录的用户行为数据就能知道大概的问题,也可能公司并没有相关的数据,需要做调查,包含市场调查或业务调查。不论是否有相关的用户行为数据,都属于统计这个大范围内。

  但是卢书在第6章提到的方法,浪费大量人力物力,却没得到大家真正关心的答案。书中介绍的做法是:“本案例主要集中是3个方面:1、模型投入应用后提前锁定有高流失风险的高活跃用户群体;2、可以将建模过程中发现的有价值的,最可能影响流失的重要字段和指标选择性地提供给运营方;3、针对影响流失的核心指标和字段,可以提供给业务方,作为参考线索。”也就是花了很多的时间和人力成本却没直接回答流失原因,对于没有相关的数据,不懂调查也不想做调查的人就说这不是他们的工作范围。

  另外,卢书封面写“以业务为核心,以思路为重点,以挖掘技术为辅佐”,这点笔者同意,但是书中内容多处违背这个道理。例如按照“以业务为核心,以思路为重点”的说法,业务分析和报告应该是具有逻辑性,可读性。但是卢书中第17页提到“神经网络挖掘技术,它里面的隐蔽层就是一个黑箱,没有人能在所有的情况下读懂” “在实践应用中,这种情况常会让习惯统计分析公式的分析师或者业务人员感到困惑”“只要模型能正确预测客户行为”“业务部门、运营部门不了解技术细节,又有何不可呢?”按照“以业务为核心,以思路为重点”的说法,计算不符合业务逻辑的情况是应该选择其他方法去实现,但卢书采用了“以挖掘技术为主,思路为辅”的做法,以只要能正确预测用户行为试图让大家觉得这样做可行。试想如果黑箱算法预测的结果出了问题,容易查问题和解决吗?

  面对着业务人员对他们使用的计算不理解时,卢书第59页提到的做法是“业务团队”“应该具备”“能理解数据分析师的分析报告”。这再一次为上一个说不清的问题找了个借口。真正以“以业务为核心,以思路为重点”的做法,是要求数据分析师的报告要让业务团队的人看得懂。统计法规定统计的职权是调查、报告、监督。报告最起码就是要让别人看得懂,有可读性。卢书把这个逻辑颠倒了。强调使用SAS、SPSS、R等工具进行分析的数据分析师、数据挖掘,他们做的报告也偏向于卢书提到的情况,甚至干脆不写报告。

  数据分析、数据挖掘是这几年才新兴的职位,他们使用的只是统计知识中很少一部分的内容加上互联网需要的知识,但是统计的其他知识都没用吗?社会对数据人员的评价高还是对统计的评价高?统计局做人口调查应该是家喻户晓的常识,为什么很多数据人员不愿意提,甚至希望与调查划清界线。面试过很多公司的数据分析,他们都说自己很喜欢统计,当深入问的时候,原来他们只喜欢数据分析那部分工作,这反映社会现状和教育问题了。他们只做了统计工作中,报告职能里面数据分析的工作而已,但是要求社会给予的报酬只是统计的小部分吗?目前社会对哪个的评价更高呢?

调查有多辛苦,你懂的。文章为作者独立观点,不代表虎嗅网立场

本文由jensen111授权虎嗅网发表,并经虎嗅网编 辑。转载此文章须经作者同意,并请附上出处(虎嗅网)及本页链接。原文链接http://www.huxiu.com/article/38285 /1.html 向作者提问 加入文集

时间: 2024-07-30 02:29:04

大数据泡沫时代:是时候对大数据回归理性了的相关文章

亿赞普CEO罗峰协同产业界共同启动大数据营销时代

2012年12月13日由亿赞普科技集团公司和北京云基地.百度在线共同发起的"中关村大数据产业与创新联盟"(简称"大数据联盟")宣告成立.亿赞普科技集团公司CEO罗峰协同产业界人士共同启动大数据营销时代. 大数据联盟按照功能模块分为三个工作组:基于开放性.互操作性.企业级数据服务建设的大数据服务平台组:开发并扶持端到端服务应用的大数据平台应用组:推动产业链发展宣传最佳实践的大数据趋势咨询组.委员会工作组成员将组织共同研发.标准制定等技术工作.顾问团则由联盟聘用外部资深

大数据陷阱:谁有权享有大数据,谁有权分析大数据

既要保持数据的自由流动性,又要维护每个主体在数据上的权益,这是个空前的法律难题.而创制和维护这样的数据利用秩序却是大数据应用的前提,是大数据战略得以实施的根本保证 中国信息通信研究院在第十六届中国互联网大会上发布的<中国数字经济发展白皮书(2017)>指出,2016年中国数字经济总量达到22.6万亿元,同比名义增长接近19%,占GDP的比重超过30%,同比提升2.8个百分点.数字经济已成为近年来带动经济增长的重要动力. 人类已经进入到了一个无商不利用数据,无领域(包括政府)不利用数据的时代.无

大资管时代兵临城下:盈利单一格局破冰 期货资管“突围”

2012年5月,首届券商创新大会为整个行业发展带来革命性的突破.两年后,历史性的机会最终"击鼓传花"至期货行业. 9月17日,"3721.html">2014年期货经营机构创新发展研讨会"在京举行.对比两年前的券商大会,这场于今年上半年即已开始筹备的首届期货创新大会或同样具有里程碑式意义. 近二十年来,尽管期货行业和期货市场经历了超常规的跳跃式发展,但受制于投资品种单一等种种局限,一场期货业的彻底"松绑式"改革迫在眉睫. &quo

泡沫退去 看中国大数据四大如何锁定商业模式

马云在三年前卸任阿里巴巴CEO时说:这是一个变化太快的时代,有人还没搞清楚PC,移动互联网来了;还没搞清楚移动互联网,大数据时代来了.现在三年过去了,马云纽交所敲钟归来,阿里巴巴成为全球第二的电商巨头;移动互联网成为了BAT三家厮杀最为激烈的红海;而大数据则从资本市场焦点上升成为了十三五规划中的国家战略. 大数据还是大忽悠?在上个月举行的中关村大数据峰会上,中国大数据行业群雄毕至,中科院院士徐宗本向中国大数据行业的精英们抛出这个话题时,现场所有人都笑了. 大数据确实具有大价值,但它并不是万能的,

茅明睿:大数据时代的城市规划【大数据100分】

我是一名非典型规划师,我很少做具体的规划设计项目,在北京规划院工作近15年,入行之初遇到了数字城市建设大潮,参与了数字北京的先发工程--数字绿化带,群里的@王国良的武大吉奥公司就是当年主要的合作伙伴. 2000-2010年从事的工作都围绕以地理信息系统.遥感.三维仿真.数据建库为核心的数字规划技术体系的构建,为北京的规划工作建立数据基础和GIS应用基础.2010年开始,基于10年的基础积累,我们开始把视线放到数据挖掘,城市定量研究或者说城市计算上来. 群里都是高大上的技术大牛.上市公司老总.参与

物联网时代的八大工业大数据应用场景

工业大数据是一个全新的概念,从字面上理解,工业大数据是指在工业领域信息化应用中所产生的大数据. 随着信息化与工业化的深度融合,信息技术渗透到了工业企业产业链的各个环节,条形码.二维码.RFID.工业传感器.工业自动控制系统.工业物联网.ERP.CAD/CAM/CAE/CAI等技术在工业企业中得到广泛应用,尤其是互联网.移动互联网.物联网等新一代信息技术在工业领域的应用,工业企业也进入了互联网工业的新的发展阶段,工业企业所拥有的数据也日益丰富.工业企业中生产线处于高速运转,由工业设备所产生.采集和

以远大抱负和满腔热忱阔步迈进大数据时代 全国首家区域性数据学会在湘潭成立

5月8日,湘潭市数据学会召开成立大会,标志着全国第一个区域性数据学会诞生.湖南省档案局局长胡振荣.湘潭市政协副主席周韶光参加成立大会,中国档案学会.中国大数据网.湖南省档案学会等单位发来贺信. 胡振荣指出:过去人类社会的记忆主要使用纸质载体,现在记忆的载体转向了数据,这就意味着档案工作的对象发生了根本性的变化.胡振荣充分肯定湘潭市档案部门对如何做好大数据时代下的档案工作进行的积极探索,在全省甚至在全国带了一个好头.他希望数据学会发挥学术团体的优势,把广大档案工作者.数据工作者凝聚起来,在数据技术

大数据时代,政府咋用数据?

大数据时代,如何从海量数据挖掘价值是项难题.由于数字鸿沟.信息孤岛.数据重复报送等问题,地方政府反而感叹有价值的信息数据太少,患上了"数据饥渴综合征". 数据可以怎么用?广州黄埔区通过深入开展综合化.网格化.信息化服务管理改革("三化"改革),将居民健康指数.流动人员管理.社会治安隐患--一系列在城市化进程中凸显的社会问题,梳理成一项项综合数据,进而决策,提升了社会管理服务能力. 2013年,黄埔区公众安全感.治安满意度指标测评,居全市各区(县级市)第一.今年5月,

物联网时代制造企业对大数据的运用分析

文章讲的是物联网时代制造企业对大数据的运用分析,每个人都是数据产生者.拥有者和消费者, 有人已经预言未来的时代是一个"大数据"的时代,关注大数据的人越来越多,同时 物联网的出现与发展推动了数据采集的能力,为数据库的建立提供了有力的支撑.数据的采集处理应用将成为时代的发展主题. 大数据对促进供应链中的生产环节产生了前所未有的巨大影响,每个企业都有自己的规划和自己企业在运营环节的管理最佳实践,在众多的运营决策改进里面,大数据的影响包括产品设计,质量控制,客户画像等等.下面从八个方面介绍大数