切勿盲目“跟风” 你全面认识大数据了吗?

近年来,有关大数据的热点话题一浪高过一浪,关注大数据应用的人也越来越多。总体来说,人们对大数据的前景持乐观态度,比如谈到大数据的技术特征,人们最容易想起的就是4个“v”:vast(数量庞大)、variety(种类繁多)、velocity(增长迅速)和value(总价值高)。这些都没错,但仔细一想,它们都是偏重说明大数据的正面优势的。但其实,大也有大的难处,大数据也不可避免地存在着一些负面劣势。这些负面劣势可以概括四点:

inflated——大数据是肥胖的。大数据的大不仅仅体现在数据记录的行数多,更体现在字段变量的列数多,这就为分析多因素之间的关联性带来了难度。哪怕是最简单的方差分析,计算一两个还行,计算一两百个就让人望而生畏了。

unstructured——大数据是非结构化的。大数据的结构也是非常复杂的,既包括像交易额、时间等连续型变量,像性别、工作类型等离散型变量这样传统的结构化数据,更增添了如文本、社会关系网络,乃至语音、图像等大量新兴的非结构化数据,而这些非结构化数据蕴含的信息量往往更加巨大,但分析手段却略显单薄。

incomplete——大数据是残缺的。在现实的世界里,由于用户登记的信息不全、计算机数据存储的错误等种种原因,数据缺失是常见的现象。在大数据的场景下,数据缺失更是家常便饭,这就为后期的分析与建模质量增加了不确定的风险。

abnormal——大数据是异常的。同样,在现实的世界里,大数据里还有不少异常值(outlier)。比如某些连续型变量(如一个短期时间内的交易金额)的取之太大,某些离散型变量(如某个被选购的产品名称)里的某个水平值出现的次数太少,等等。如果不删除,很可能干扰模型系数的计算和评估;如果直接删除,又觉得缺乏说服力,容易引起他人的质疑。这使得分析人员落到了一个进退两难的境地。

古有孔子“温故而知新”,而今,人们利用大数据的分析,已经可以预见和分析出很多当下时代的大趋势了。但是,这些分析数据的真实性怎么保证呢?目前,我国的大数据正处于发展中阶段,如果不能处理好这些不利因素就盲目“跟风”去运用,那么大数据应用的优势很难发挥出来。想要真正运用好大数据,并不是一项在常规条件下数据分析的简单升级,而是一项需要大智慧的综合工作。

其实,只要是有效地利用大数据,就可以实时监控各种潜在风险,提高生产效率,更重要的是为企业提供诸多洞见,提升投资回报和竞争优势,而且有助于企业从多维度判断全球市场潜在商机,实现跳跃式快速发展。如果没有一个全面、客观认识大数据的过程,即便我们能很容易的利用大数据得到很多可预见的数据,又有几分准确性?

所以,我们必须要对大数据有一个全面、客观的认识。文中提到的四个难点,也是必须要重视的。只有在不同的业务和数据背景下采用不同的战略战术,才能在大数据时代,真正发挥大数据的杠杆作用,有效提高企业的运营效率和市场竞争力。

原文发布时间为:2014年05月08日

本文来自合作伙伴至顶网,了解相关信息可以关注至顶网。

时间: 2024-10-24 20:19:50

切勿盲目“跟风” 你全面认识大数据了吗?的相关文章

手游大数据泛滥成灾 切勿盲目乐观的去相信

什么是大数据 择自百度百科对大数据的定义:大数据(big data)或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取.管理.处理.并整理成为帮助企业经营决策更积极目的的资讯. Gartner给出了这样的定义:"大数据"是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力的海量.高增长率和多样化的信息资产. 大数据的体现 似乎所有人都知道大数据的作用,但是随着数据统筹的案例越来越多,大数据从"专业化"走向了"

用网站做淘宝客赚钱 切勿盲目和眼高手低

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 自己做淘宝客和做淘宝客网站转眼间就快一年了,最近又在自己的淘宝客群里讨论了一些淘宝客赚钱的话题,下面就跟大家分享分享如何专注做好一个淘宝客. 其实淘宝客对于一些略懂网络营销的人来说还是比较容易入手的,但是对于一些似懂非懂的淘宝客来说还是有一定的难度有一定的挑战,因为淘宝客实际上是一种网络营销的手段.只要你不缺乏网络营销的概念或者手段,做淘宝客

想向海外输出产品?切勿盲目

昨日中午,笔者见了一个在做海外贸易的朋友,和他谈了谈海外消费电子的需求.目前很多硬件创业者都很希望先拓展海外市场,好一点的能找到相应的代理商,其他的大多走电商渠道,或者上Kickstarter预售产品.从MWC大会上可以看出来大众消费电子的需求,2014年的消费电子将会有几个特点:手机要6寸.平板要13寸.分辨率要达4K.穿戴式设备要有曲面屏幕.当然这些变化大多是从需求来指导的:消费者需要这些产品.其中最难达到的就是穿戴式设备的曲面屏幕,一般的厂商比较难克服这个技术难点.2013年开始火起来的穿

刘鹤:十二五期间切勿盲目扩大产能

12月17日消息,中央财经领导办公室副主任刘鹤在出席财经年会时表示,"十二五"期间如果盲目扩大产能,将不利于经济平稳较快发展. 刘鹤表示,刚刚结束的中央经济工作会议之所以强调"十二五"要"开好局,起好步,"是因为从历史上来看,新的五年规划开局之年,各方面加快发展的积极性很高."但如果过度,就会产生负面影响,"刘鹤说. 在刘鹤看来,如果"十二五"期间盲目扩大产能,将不利于经济平稳较快发展.因为世界经济格局正在

网络营销切勿盲目更随

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 网络营销推广方式多种多样,前几年还火爆的博客.论坛,最近的风气已经被微博给盖上了,刚了解到了微博,又来了微信.我到底是要做什么样的网络营销?什么样的网络营销才是适合我的呢?有的说微博营销好,有的说微信营销好?我到底要做什么?是跟随潮流吗?还是按部就班呢?下面是筱桐对于网络营销的一点点愚见希望对您有用. 您是不是心里面不断的这样的问自己,比十万

国家信息中心专家宁家骏:大数据中心不能盲目建设

大数据产业当下很热.在2016中国(广州)智能装备及机器人产业发展大会的大数据分论坛上,国家信息中心专家委员会主任宁家骏却提醒说,大数据中心不能够盲目建设,现在发展大数据,"最大的风险就是我们大数据这种基础设施产能的过剩". 目前,国家大数据产业的"十三五"规划正在密锣紧鼓地制订当中.宁家骏认为,实施国家大数据战略,"最重要的是要推动大数据资源的共享开发".他透露,今年,国家计划将出台"政务信息资源共享管理暂行办法和目录指南"

鲁四海解读中国大数据发展10大趋势5大挑战 —— 首席数据官联盟2016《中国大数据企业排行榜》发布会实录

2016年7月14号,首席数据官联盟在京发布了2016年<中国大数据企业排行榜>.本次发布的<中国大数据企业排行榜>由北京大学电子政务研究院.中国新一代IT产业推进联盟共同指导,由首席数据官联盟专家组依据大数据企业评价指标体系对国内大数据企业进行综合评定.与此同时专家组还总结出了中国大数据发展的10大趋势和5大挑战.此次<中国大数据企业排行榜>得到业界的大力支持,发布会由中华网.中关村智能硬件产业联盟.北京优智活孵化器协办.机械工业信息中心处长白涌如.北京大学电子政务研

中国大数据发展10大趋势5大挑战

近日,首席数据官联盟在京发布了2016年<中国大数据企业排行榜>.本次发布的<中国大数据企业排行榜>由北京大学电子政务研究院.中国新一代IT产业推进联盟共同指导,由首席数据官联盟专家组依据大数据企业评价指标体系对国内大数据企业进行综合评定. 与此同时专家组还总结出了中国大数据发展的10大趋势和5大挑战.首席数据官联盟发起人.中国新一代IT产业推进联盟技术分委会秘书长鲁四海做了精彩解读.鲁四海为我们分析了中国大数据发展的10大趋势和5大挑战,以下是现场实录: 趋势一:首席数据官开始崛

你的大数据项目离失败有多远?

导读大数据项目的成功或许不可复制,但从失败中汲取教训同样很有意义.作者从本人实践项目入手,从商业目标.商业案例.项目管控.沟通.技能等角度分析其失败的原因. 过去六个月里,我发现大数据项目的总量正在以惊人的速度增长着,大多数与我合作过的公司都计划在接下来一年内,进一步拓展大数据项目的领域.其中,许多项目都被报以很高的期望,但大数据项目,远没有想象中那么简单.我认为,其中半数的大数据项目最终都无法达到他们的预期. 失败的原因是多方面的,许多显而易见的问题或者影响因素都会对大数据项目造成致命的打击,