大数据热中的冷思考

时下,大数据热持续升温,大数据一词已成为各种公开场合中最为炙手可热的关键词。大数据热已成为一股汹涌澎湃的潮流,于是乎,各种大数据概念满天飞,人人都在谈论大数据,仿佛你的发言中没有提到大数据,你的成果中没有应用到大数据,那你就彻底OUT了。

历史反复告诉我们:当一件事情持续过热,承受了名过其实的追捧,就必然会产生泡沫。是泡沫就会有破裂的一天,事实必然会随着泡沫的破裂而恢复到本来面目。总的来说,近年来涌现的一些新的大数据技术的确促进了数据处理能力的大幅提高,但也应该注意的是,伴生着大数据的发展也产生了一些不良现象,比如:炒作概念,无中生有;似懂非懂,滥用数据;盲目跟风,浪费资源等。这些不良现象应引起我们足够的重视。

现象本质大数据概念的提出是在2008年,数据科学家维克托·迈尔-舍恩伯格及肯尼斯·库克耶在《大数据时代》一书中提出:大数据不用随机分析法(抽样调查)这样的捷径,而使用所有数据进行分析处理。2012年,IBM商业价值研究院与牛津著名的赛德商学院联合发布了一份题为《分析:大数据在现实世界中的应用》的报告,报告中用四个V来确定大数据,即:数量(volume)、多样性(variety)、速度(velocity)和精确性(veracity)。

从专业的角度看,大数据这个概念是一个很不科学严谨的概念,具有很大的模糊性,但正因如此,给外界留下了很大的想象空间。随着互联网技术的高速发展,数据的形态越来越复杂,对数据的使用要求更是五花八门。在不同的场景下,大数据这个词汇似乎成了一个筐,什么都可以往里装。这一概念不但看起来“高大上”,而且科技感十足,想象空间足够大,因此备受推崇。政府部门出于拉动GDP等因素考虑,觉得大的项目往往更容易得到重视和青睐,因此力推大数据。与此同时,一些商业组织出于商业利益考虑,也乐于炒作大数据概念。比如在资本市场上,有哪只股票要是成为大数据概念股,市值很容易就会大幅提升;哪家创业公司如果跟大数据贴上边,就会受到风投公司的追捧。而上下游产业的IT公司更是乐见大数据热现象持续蔓延,因为大数据往往意味着大投资、大生意、大客户,相关软件和硬件的销量自然急剧增加,毫不费力赚得盆满钵满。于是,一场以大数据为名的运动在全社会轰轰烈烈地开展起来。

对企业的危害大数据是一柄双刃剑,用得好会给企业创造价值,用不好不但会成为企业的负担,反而还可能会成为误导。具体说来,滥用大数据的危害性有以下几点。

1、导致错误的评价有这样一个笑话,某大学年度调查统计显示,本校计算机系的女同学中,50%都嫁给了该校的男性老师。该消息一经公布,立即引起校内外的巨大反响,人们对师生恋、校园恋议论纷纷,很多人说是某校的炒作。经几次调查核实,该消息确实是真实有效的。原来该大学计算机系只有两名女生,其中一名女生和计算机系老师相恋结婚,由此得来的50%是真实数据。

这个笑话不但反映了使用片面的数据造成的危害,而且揭露出一部分人过于迷信数据的心理。数据虽然是客观和科学的,但怎么使用和看待数据却是人的问题。如果有些别有用心的人利用大众对于大数据盲目迷信的心理来误导大家,那么这种披着权威外衣的欺骗甚至要比不用大数据更能导致严重后果。

2、导致错误的决策数据的最大商业价值在于预测,现在的企业越来越倾向于使用大数据得出的结论作为未来的决策依据。尽管如此,仍有不少数据分析专家认为,当企业开始搞大数据的时候,他们就走上了一条不归路,数据越大,其中枝节越多,错误也就越多。数据科学家Vincent Granville在《大数据的诅咒》里写道:“这并不难解释。例如即使数据集之中只包括1000个因子,那这些因子之间的相关关系数量就高达百万级别。这也就意味着一些因子之间的关系可能完全是随机的,以此来建预测模型,你会输得很惨。”

3、投资与收益严重倒挂大数据既然“大”字当头,自然投资成本不会小。在硬件层面上,要投入比以往系统多得多的主机、存储、网络设备以及相关配件,由于设备数量的增加还会造成大量的用电负荷以及占用大量机房场地空间,对布线、空调等相关配套的需求也急剧增加;在软件层面上,虽然操作系统和数据库等底层可以找到越来越多的开源软件可替代,但那些针对数据挖掘和数据分析以及分布式存储的软件是永远也不可能免费的,而且普遍价格高昂;在维护成本方面,由于大量使用开源软件,大数据所带来的大集群以及低稳定性需要付出更多的人力成本。

可见,大数据必然是大手笔的投入,然而这种大投入能不能带来大产出就是另一回事了。对于分析系统而言,其分析的结果能否抵得上投资收益是一件不太确定的事,并且有效数据的产生可能需要一个长期的过程。对大数据的挖掘有点像在一座据说藏有黄金的矿山中挖掘,但要挖多深、挖多久才能有结果,其实并不确定。

4、加重核心系统的负担最重要和最有价值的数据必然是从核心系统产生出来的,大数据分析的过程就是一个先大量占有、再慢慢分析的过程,在这个过程中,必然不能缺少核心数据的参与。这意味着核心系统需要开放更多的接口,牺牲一定的性能来配合分析。不仅如此,在争抢系统资源方面,大数据系统当然比资源池内的其他系统更有“威力”。即使是主机环境互相隔离开,但只要是在一个机房内,存储、网络带宽、机架空间、用电负荷等资源也会被迅速增长的大数据系统抢得一干二净。长此以往,核心系统的业务资源必然紧张,系统运行风险也随之上升。

建言献策大数据是信息化系统发展到一定阶段以后的必然产物,更大更全面的数据处理能力必将成为企业未来重要的生产力来源。然而,对于大数据,我们不能只抱着一片痴心,还要像认识硬币的正反两面一样,对大数据的负面问题有所防范。

首先,不迷信不盲从大数据。大数据不是万能的,更不是完美的,数据仅仅是一种参考资料,如何看待和使用数据还要靠人。因此要用审慎的心态看待数据,避免因使用片面的数据而产生决策偏差,甚至是步入陷阱。如果我们不能合理使用大数据,那么大数据就真的成了“大忽悠”。

其次,要根据企业实际选择合适的大数据方案。在大数据系统立项和建设之初,就要充分考虑投入和产出的比率,对于产出价值不大的系统应采取审慎的态度建设,并且严格控制规模,避免“大而全”的建设思路。只有在建设前期就严格把关,才能防止大数据成为“大负担”。

最后,做好数据信息安全防范。在使用大数据的同时,也一定要做好数据信息可能泄露的安全防范。数据如果沉淀下去一直不用当然不会创造价值,但如果不注意数据信息的安全防范就可能造成信息泄露、篡改、盗用、删除等严重后果。极端情况下,甚至会给企业造成致命的打击。因此一定要限定数据使用的范围、流程,避免大数据演变成为“大灾难”。

本文作者:佚名

来源:51CTO

时间: 2024-10-24 06:27:56

大数据热中的冷思考的相关文章

大数据热中的冷思考:更应关注数据的社会文化意义

当前,由于大数据在社会实践与理论研究上的巨大影响,有关大数据的讨论已经渗透到每一个行业和领域之中,带来了各行各业对大数据的热捧.大数据显然具有重要价值,这一点毋庸置疑.正如有学者指出的,大数据开启了一次重大的时代转型,它正在改变我们的生活以及理解世界的方式,成为新发明和新服务的源泉.因此,我们要大力实施国家大数据战略.但在大数据热中也应该有冷思考,因为大数据可能带来的风险与挑战是不容忽视的.只有正视各种风险与挑战,才能更好推动大数据发展. 防止大数据的"去人性化"忽视人的主体价值和数据

大数据热的冷思考:无法取代传统的新闻传播科研方法

古希腊哲学家毕达哥拉斯曾经提出"数是万物的本源"的思想,认为世界万物归根结底都是由某种数量关系决定的.在历史上,人类量化世界的野心和尝试从未停止,而科技的进步则不断为这一目标提供越来越快捷的技术条件.2012年,技术词汇"大数据"进入人们的视野,不同于传统意义上"数据=数字"的是,在互联网.物联网高速发展的今天,网购经历.视频节目.微信语音都是数据.大数据技术量化一切的优势,使其在几年内成为每一个行业不可或缺的生产力,拥抱大数据时代到来的言论甚嚣

世界迎来大数据时代 标志人类思考世界方式转变

互联网重塑了人类交流的方式.大数据则不同:它标志着社会处理信息方式的变化.随着时间的推移,大数据可能会改变我们思考世界的方式 [美国<外交>杂志5-6月一期文章] 题:大数据的兴起(作者英国<经济学家>杂志数据编辑肯尼思·内尔·丘基尔牛津大学互联网研究院http://www.aliyun.com/zixun/aggregation/6938.html">互联网管理与法规教授维克托·梅耶-舍恩伯洛) 每个人都知道互联网改变了企业经营.政府运作以及人们生活的方式.但是一

跨越鸿沟——工业大数据的实践与思考

摘要:在12月7日召开的云栖大会苏州峰会上,杭州数心网络科技有限公司的副总陈强为我们带来了"跨越鸿沟-工业大数据的实践与思考"的演讲,分享了从工业测试数据视角看工业大数据未来所遇到的机遇与挑战,对综合机电一体化技术.DIAdem.TDM测试数据管理系统.风洞实验数据管理系统.核电管道泄漏远程在线监测系统进行了介绍.   以下为精彩视频内容整理:  发展背景 在工业发展的阶段,可以分为四个时期: 在工业1.0时期,瓦特发明了蒸汽机,解决了机械动力和人类远行的问题. 在工业2.0时期,在劳

商业银行大数据战略与规划思考

随着现代科技的不断进步,信息技术呈现出跨越式大发展的格局,以移动互联网.物联网.大数据和云计算等为代表的新技术应用,大幅提高了社会的生产生活效率.移动互联网的应用降低了互联网的接入成本,增加了互联网的覆盖广度和深度,加速了各行业的互联网化进程:物联网的应用让"人与物"."物与物"相联,实现了更加精细化.动态化的生产生活管理,提高了资源利用和生产力水平:以大规模并行计算.人工智能.机器学习等为特征的大数据应用,使得大范围快速分析和智能预测成为可能,将革命性地改变政府机

大数据时代 标志人类思考世界方式转变

在决策越来越多地受到数据支配的世界里,人.直觉或是不顾事实的蛮干还有什么用武之地呢?如果每个人都求助于数据,都利用大数据工具的话,那么不可预测性--例如人类的本能.冒险.意外甚至失误--也许将会成为差异的关键. 如果真是这样的话,那么需要专门为人为因素辟出一席之地--即为直觉.常识.运气留出空间,以确保它们不会被数据和机器生成的答案挤走. 这将对社会进步的观念产生重要影响.大数据使我们可以更快地进行实验,对更多的线索展开探索.这些优势应该会导致更多创新的产生.但在有些时候,发明的火花迸发是数据所

评论:大数据价值的再思考 垄断与开放

大数据的价值已经不言而喻.从商业价值看,无论是电商的精准推荐,还是百度的网盟推广,亦或微博的精准营销,普通用户都能够直观体会到大数据给用户和商家带来的商业价值.从社会价值看,大数据让用户有能力了解http://www.aliyun.com/zixun/aggregation/35574.html">社会热点.预测流行趋势或是环境变化等等.随着大数据深入应用,这种价值还在不断地发酵,在社会的各个领域,如金融.制造.能源.商贸.物流.农业.气象等等,也在全球的不同地区,不同类型的数据集被相互连

大数据价值的再思考:垄断与开放

大数据的价值已经不言而喻.从商业价值看,无论是电商的精准推荐,还是百度的网盟推广,亦或微博的精准营销,普通用户都能够直观体会到大数据给用户和商家带来的商业价值.从社会价值看,大数据让用户有能力了解http://www.aliyun.com/zixun/aggregation/35574.html">社会热点.预测流行趋势或是环境变化等等.随着大数据深入应用,这种价值还在不断地发酵,在社会的各个领域,如金融.制造.能源.商贸.物流.农业.气象等等,也在全球的不同地区,不同类型的数据集被相互连

《爸爸去哪儿》大热背后的冷思考

最近我4岁的闺女迷上了芒果台的电视节目<爸爸去哪儿>,一遍一遍地看回放.边看边问一些好玩的问题,为什么村长家的房子最大?小石头住村长家了,那村长去哪住了?看来,闺女迷上了这个电视节目了.在<爸爸去哪儿>之前,闺女只看动画片,诸如<喜洋洋>.<熊出没>等暴力动画片什么的. <爸爸去哪儿>这档节目的确火了,不仅收视率全线飘红,在社交网络上的口碑热度也很高,几个明星爸爸和星二代都成为网络讨论话题的热点.跟芒果台原来比较高调的<http://www