中国式大数据与分析的现状和未来趋势

“大数据”时代到来了吗?

潮流是一股可笑又可敬的力量:今天,如果打开任何媒体,要是不提“大数据”,恐怕都不好意思出版。这股潮流,铺天盖地,连国家领导人都不例外。问题在于:为什么人人言必称大数据?

数据的价值,随着数据量的几何级数增长,已经不再能够通过传统的图表得以显现,这正是为什么商业智能还没来得及流行,便已被“数据分析”挤下舞台。因为,价值隐藏在数据中,需要数据分析方可释放这些价值。

数据分析能力的高低,决定了价值发现过程的好坏与成败。可以说,没有数据分析,“大数据”只是一堆IT库存,成本高而收益为零。但是国内热潮的“大数据”概念,目前仍然停留在数据收集、整理、存储和简单报表等几个初级阶段。能够对大数据进行基本分析和运用的,只有少数几个行业的少数企业。关于这一点,我们可以通过谷歌搜索结果来简单揭示这一现状的:

挑选四个关键词,并且分别搜索,并且对搜索结果计数用JMP数据分析软件进行制图:

很明显,英文世界里,“big data”的搜索结果计数比中文世界里的“大数据”搜索结果计数要多了不少; 而“analytics”(分析)的搜索量不仅仅高于“big data”,更是远远高于“分析”在中文世界里的搜索结果,大概是169倍!

这个结果,尽管不能100%还原中国业界对“大数据“和”分析“的重视程度,但仍然可以揭示一个起码的事实:作为大数据概念源头的西方国家尤其是美国业界对于”分析”的重视,远甚于中国业界对分析的关注。

这个来自谷歌搜索的简单分析结果,和我们对于中国企业大数据实施现状的理解不谋而合。

中国式大数据与分析的现状

所谓”大数据分析“,其和”小数据分析“的唯一差别在于数据量以及数据量带来的对于数据存储、查询及分析吞吐量的要求。本质上,”大数据分析“仍然需要通过数据分析来发现现状,找到导致现状的根源要素,并且通过模型与预测分析技术来对改善进行预测与优化,并且实现企业运营各个领域的持续改善与创新。要谈”大数据分析”的中国现状,首先必须深入了解”数据分析“在国内的应用情况。

国内企业,不论是国企还是民企,真正在业务决策中以数据分析结果为依据的,主要集中在银行,保险,电信和电商等几个行业。以IT预算最充沛,人员能力最强的银行为例,目前主要是大型银行在导入数据分析。中小银行尚在观望与学习阶段,人员与能力建设正在起步阶段。数据分析的应用范围主要集中在信用风险、流程优化、市场营销、成本与预算等几个方面,深度尚可,但广度一般,尚未扩充到运营管理的所有领域。

而谈到“大数据”或者数据仓库,上述行业中的绝大多数企业早已实施了各种数据仓库,以管理数据。这种买药再看病的模式,完全本末倒置。数据仓库与数据库不一样,其使命就是为了分析而存在的。没有分析,仓库何用之有? 四大行之一的某大型国有银行,90年代末期就开始花费好几亿元IT预算,建设“数据大集中”项目,受该行影响,其他国内银行掀起了一股数据集中的热潮。而当时连商业智能还是个尚未传入中国IT概念,更遑论数据分析了。15年过去了,这些被集中的数据,还在么?

至于支撑起我国庞大GDP的制造业、建筑业和贸易业,在运用数据分析进行业务决策方面,则尚未见规模。其IT开支仍然主要集中在基础架构与流程化的软件套件领域(如ERP,CRM,HRM, SCM等),部分企业开始导入商业智能(报表、制图、管理驾驶舱),而数据分析应用远远没有进入规模发展阶段。以我国制造业企业为例,从五、六年前开始热炒“六西格玛”、”全面质量管理“,”精益生产“,尽管这些举措对中国制造、中国创造等带来本质变化尚需时日,但是就提升企业决策能力和管理水平而言,这些举措的的确起到了一定的作用,对于中国企业从拍脑袋到用数据决策这一本质转变打下了一个基础。

这一现状的原因,我们认为主要体现在如下几个方面:

1.企业的权力来源

数据分析才是真正的一把手工程。分析的使命,在于改善决策。决策的第一责任人,也就是企业最高层管理人员。国企,尤其是大型央企,职业经理人体系并不完善,董事长、总经理级别的任命是由组织部门而不是经济部门来决定的。“讲政治”的人事任命体系决定了企业决策的复杂性和特殊性,科学管理方法和决策手段的推广,完全取决于企业最高领导人本身对于这些手段的认可程度。

另外,数据分析带来的不仅仅是分析软件和分析方法论,更需要决策、运营进行相应的改善与调整,我们通常称之为“变革”。 任何变革都会带来相匹配的风险与收益。国企的权力架构和民企、外企非常不同,哪怕总经理决定了要变革,还得征求企业内部各路权力部门的认可与接受,变革的难度导致了我们通常看到和听到的“转型极其艰难”,“身为大家长要对几十万张嘴负责”等煽情苦情的自我表白。不要说数据分析,就连开除几个绩差员工,一不小心就要得罪人,严重了还要危及乌纱帽,改革谈何容易。

相比之下民企和外企在这方面的转变要敏捷、迅速很多。比如苹果,很多年前就开始全球范围导入JMP数据分析平台,在我们的跨国团队的帮助下从搭建数据分析能力、规范数据分析流程、导入高级数据分析方法、直到生产与研发环节的数据分析全球标准化等工作。整个过程长达数年,涉及到庞大的机构、人员、方法、流程的转变,却平稳有序。其间还发生了Steve Jobs辞世,新任CEO上台等足以中断一切的重大企业事件,但导入数据分析能力这一过程丝毫没有受到任何影响。

2.企业的运营能力储备

能力储备也是个关键要素。哪怕管理层决心一致,雄心壮志,重大变革能否落地,还得取决于团队能否升级与被变化。意志力尽管重要,体能却是个关键。数据分析对于参与者的统计、概率、数学、计算机、业务理解等几个方面的能力要求甚高。尽管“能力是可以培养的”,但是我们在国内这么多年的众多数据分析导入项目中,面临最多的挑战就是人员培训和流程变革。

以电信运营业为例,BOSS系统,各种业务系统和数据仓库搭建了许多年,数据分析对于客户行为的理解与促销产品的层出不穷也使得这个行业的数据分析应用远远超过绝大多数其他行业。但电信业在大规模导入数据分析方面面临的首要问题,仍然是专业人才储备以及与数据分析有关的规章制度、决策流程与文化体系的建立。

我们在市场上看到更多的,是IT部门主导的数据分析项目。项目名称是数据分析,而内容仔细一了解,往往都是数据仓库+企业报表。不是传统财务三表,而是用于展现核心KPI的图表。对“数据分析”不了解,把报表和制图当成“分析”,是这一现状的根源。

3.市场环节与竞争压力

不同企业对市场竞争的变化是非常不同而有趣的。比如三桶油,建立竞争力的方法,在于找油田、收购加油站,利用垄断性政策优势抬高行业准入门槛。三大电信运营商,若干年前曾经有子公司互相攻击,甚至发展到人员斗殴,割断对方光线网络的事件。而华为与中兴的竞争,若干年前除了口水仗,还有互相挖对方技术团队。

政策性垄断行业,尽管有压力,但是在提升生产力和生产效率的手段方面,改变缓慢而低效。 高度市场化领域,比如家电,汽车,消费电子,华工、医药等领域,对以数据分析为代表的“高级能力”的接受程度则高了不少。

综上所述,我国企业界对于数据分析的应用仍然停留在个别行业与个别应用的阶段。不过,尽管导入数据分析的过程是如此艰难而挫折,我仍然认为,随着我国各行业市场化进程的推动,随着互联网、数据分析技术不断对传统产业的颠覆过程,“数据分析”或者“大数据分析”迟早会成为中国企业界突破藩篱的关键手段。

数据大不大其实一点也不重要

只要是数据,里面必然有故事。与其在能力毫不匹配的情况下片面追求大数据,还不如立即行动起来,从手头、身边保有的小数据当中提取价值,进而为真正的大数据时代的数字化决策打下基础。

从微观角度来看,我们以中国零售及消费品行业为例,看看数据分析在这一领域的应用现状:

1.企业内部采用的分析手段是非标准化的,零散的—--例如把图表当分析;

2.更多地关注数据获取和管理,而不是开展面向客户的预测性建模与数据挖掘。前者是IT工作,后者才是从数据里获取价值的过程。

3.尚未在公司真正地运行或者构建持续的分析能力、分析流程和与数据分析有关的业务与管理决策机制。

而根据我们为中国企业提供JMP数据分析战略拓展与项目支持的多年经验,我们的建议是:

1.从项目级别的数据分析应用开始,逐渐现成项目组级别的标准化分析流程与业务决策制度。借助项目拓展出有基本分析与应用能力的团队;

2.将项目分析经验扩展到部门级别,拓展 数据分析—价值获取—业务决策 这一价值链。 根据部门级数据分析应用的需要来开展数据获取和管理。借助部门级引用导入拓展出数据分析与业务决策的流程,以及统一、先进的数据分析平台与业务实践库。

3.从部门级到企业级应用,纵横两个维度都在拓展,需要企业管理层的高度参与与制度支持,推广基于数据分析为核心的文化与模式转变,建立支撑这些变化的长远的数据分析战略

4.至于数据是不是够大,是不是需要“云计算“,全看业务需要而定!

原文发布时间为:2014年06月10日

本文来自合作伙伴至顶网,了解相关信息可以关注至顶网。

时间: 2024-09-07 09:12:30

中国式大数据与分析的现状和未来趋势的相关文章

开源大数据查询分析引擎现状

引言 大数据查询分析是云计算中核心问题之一,自从Google在2006年之前的几篇论文奠定云计算领域基础,尤其是GFS.Map-Reduce. Bigtable被称为云计算底层技术三大基石.GFS.Map-Reduce技术直接支持了Apache Hadoop项目的诞生.Bigtable和Amazon Dynamo直接催生了NoSQL这个崭新的数据库领域,撼动了RDBMS在商用数据库和数据仓库方面几十年的统治性地位.FaceBook的Hive项 目是建立在Hadoop上的数据仓库基础构架,提供了一

华大基因BGI Online负责人金鑫主讲:基因大数据的起源、现状与未来| 硬创公开课

随着基因测序价格以超摩尔定律的势态下降,其被广泛应用于基因组学研究.临床诊断以及多种疾病个性化治疗等领域.对此,业内人士认为,当今基因测序行业面临最大的挑战已不再是基因测序技术,而是处理巨大的数据量以及如何从巨大数据中获取临床指导.据雷锋网了解,生物信息分析服务是目前业界公认的最具发掘潜力以及盈利能力的环节,但目前国内还处于起步阶段. 那么,基因数据与其他数据有何异同?处理基因数据又何难点和挑战?基因数据的未来是怎样的?本次公开课,雷锋网AI掘金志栏目邀请了华大基因研发中心副总监金鑫,带来<基因

盘点:55个最实用大数据可视化分析工具

文章讲的是盘点:55个最实用大数据可视化分析工具,近年来,随着云和大数据时代的来临,数据可视化产品已经不再满足于使用传统的数据可视化工具来对数据仓库中的数据抽取.归纳并简单的展现.传统的数据可视化工具仅仅将数据加以组合,通过不同的展现方式提供给用户,用于发现数据之间的关联信息.新型的数据可视化产品必须满足互联网爆发的大数据需求,必须快速的收集.筛选.分析.归纳.展现决策者所需要的信息,并根据新增的数据进行实时更新.因此,在大数据时代,数据可视化工具必须具有以下特性: (1)实时性:数据可视化工具

SAP被评为“大数据”预测分析领军企业

本文讲的是SAP被评为"大数据"预测分析领军企业,2013年1月24日,SAP公司日前宣布:在Forrester Research 发布的"The Forrester Wave: Big Data Predictive Analytics Solutions, Q1 2013"(<The Forrester Wave:2013 年第一季度大数据预测分析解决方案>)报告中,SAP被评为该领域的领军企业.此次评选活动中,SAP 凭借强大的架构和战略被誉为市场

对人工智能、大数据和分析领域在2018年的九大预测

弗雷斯特研究公司(Forrester Research)的一份最新报告<预言2018: AI的蜜月期即将结束>预测:预计到2018年,企业将最终意识到人工智能将在企业中工作,并能够正确地规划.部署和管理企业. 弗雷斯特还提到:由于界面的改善,人机协作将会变得更好;通过将资源转移到云上来增强商业智能和分析解决方案;新的人工智能功能使分析.数据管理和活动的重新设计变得更加容易,并推动了更多服务化市场的出现. 因此,70%的企业预计在未来12个月内实现人工智能,高于2016年的40%和2017年的5

阿里云智能视觉首席研究员华先胜:视觉大数据智能分析、识别和搜索

What's Happening 从智能交通到教室监控再到视频直播等等场景,生活中每天都在产生海量的图像/视频数据.在这些场景中,对图像/视频数据进行智能分析.挖掘其中的内容以及对其中的事件进行实时的分析并非易事. 图一 视觉智能  视觉智能发展朝向两个方向:云上智能和端上智能.云上的智能是指复杂的计算是在云上完成:端上智能则是在终端完成的,例如手机或摄像机本身自带的计算能力.自动驾驶等等. 云上智能除了单体的智能之外,还存在着整体的智能,也就是说也可以把大量数据放在一起进行计算.分析,然后挖掘

在HDInsight中从Hadoop的兼容BLOB存储查询大数据的分析

在HDInsight中从Hadoop的兼容BLOB存储查询大数据的分析   低成本的Blob存储是一个强大的,通用的Hadoop兼容Azure存储解决方案无缝集成HDInsight.通过Hadoop分布式文件系统(HDFS)接口,完整的组件集合在HDInsight可以 在Blob存储数据的直接操作.在本教程中,学习如何建立一个容器的Blob存储,然后在里面处理的数据. 在BLOB存储中存储的数据能够用于计算的HDInsight集群被安全地删除,而不会丢失用户数据. 注意: 该ASV://语法中不

东软发布RealSight大数据高级分析应用平台 三大产品组合融合分析人事物

随着中国政府与企业数字化转型的深入,政府在提供智慧民生服务.企业在运营过程中更关注人.业务与物的融合,移动互联网技术的普及使企业与政府的边界呈现模糊化的趋势,物联网技术的成熟和大范围应用使企业虚拟化成为可能,物理资产实现数字化,数据的种类.规模.产生速度已经发生了本质性的变化. 近日,东软集团在京发布RealSight(睿见)大数据高级分析应用平台,帮助企业实现智能化运营,让大数据成为企业创新和转型的重要支撑. RealSight是建立在SaCa与UniEAP数据汇集.高级分析与展现产品组合基础

IBM 用友在大数据与分析展开战略合作

文章讲的是IBM 用友在大数据与分析展开战略合作,在2014用友用户大会上,IBM与中国领先的独立软件开发商用友软件股份有限公司(以下简称用友)共同宣布展开战略合作,进一步利用IBM大数据与分析技术方案,帮助客户在大幅度降低成本的基础上更有效地运行应用. 根据合作协议,用友和IBM将为用友NC(ERP.供应链.客户关系与人力资源软件平台)优化带有BLU加速器的IBM DB2.用友将向客户提供带有BLU加速器的IBM DB2连同用友NC产品.同时,用友和IBM计划共同发展端到端的生态系统,涵盖应用