从另一个视角看大数据

大数据是当下最时髦的话题之一,依照迈尔·舍恩伯格及库克在《大数据时代》的描述,数据被定义为不用随机分析法(抽样调查)而运用所有数据的方法。除了对于社会组织、公共服务、人们生活的重大影响之外,这一热潮背后的关注焦点,其实还是商业模式,即相关数据仓库、数据安全、数据分析、数据挖掘等围绕大数据的商业价值利用。

  大数据之所以在我国引起如此大的关注,也是由于在传统文化理念中,“大概齐、差不多”的习惯深入人心,在公共决策、商业选择、个人行为中充斥着“拍脑袋”现象。正如历史学家黄仁宇在《赫逊河畔谈中国历史》所论述的那样,“西欧和日本都已以商业组织的精神一切按实情主持国政的时候,中国仍然是亿万军民不能在数目字上管理。”当然,这种模糊管理下的信息不对称,亦成为另外一种既定利益格局的存在基础。正因为此,当信息爆炸时代快速来临之时,对数据信息的渴望迅速在社会不同层面体现出来。据报,汪洋副总理就曾向广东财政厅干部推荐涂子沛写的《大数据》。

  要论大数据的历史,或可追溯到19世纪末。美国统计学家赫尔曼·霍尔瑞斯为统计1890年的人口普查数据,发明了一台电动器来读取卡片上的洞数,该设备用一年时间完成了原本需耗时八年的人口普查,由此开启了数据处理的新纪元。进入21世纪,随着信息技术、云计算的高速发展,以及社交网络的普及,大数据被赋予了全新含义。应该说,基于数据化严重不足的大背景,在我国经济社会发展中强调大数据的作用,其积极意义非常深远,但与此同时,也要避免走向另外的某些极端,这就需要相应的冷思考。

  比如,在大数据的推动者之中,一方面各类新兴互联网企业成为主力,另一方面传统企业也在着力跟随,其根本动力都是在于发掘新的商业利润来源,以弥补我国经济转型期的投资迷茫。在此过程中,对于个人的利益和诉求还缺乏合理的认识和定位。虽然大数据对于进一步理解和服务消费者起到重要作用,但从其他侧面看,无序的、低效的、无用的信息轰炸,往往给个人带来“信息过度”的不佳体验,而在数据成为财富的狂热驱动下,对于个人信息权利的侵犯几乎无处不在,尤其在我国缺乏个人信息保护规则的条件下,数据渴望和采集很可能成为激怒消费者的动因,且拉大了与真正的消费者主权社会的距离。

  另外,更值得我们思考的是,如果信息产生基础或其环境存在问题,那么大数据的技术是否会造成更大的信息扭曲?从金融市场的角度看,大数据在深刻改变高频交易方式、信贷风险判断等环节同时,也带来了其他潜在风险的积累,如信息误读造成的市场波动突然被放大,以及难以监管的新型金融产品创新等等。可以说,在诸多领域都缺乏法律游戏规则约束,更缺乏职业道德约束的情况下,如果初始数据就存在问题,那么在此基础上的大数据分析手段,恐怕就只有“南辕北辙”的效果了。从大处说,各类统计数据造假历年来都是被舆论广泛质疑的焦点;从小处说,在很多领域数据失真已经成为常态。例如,据5月7日的《北京青年报》报道,由于受到利益绑架,北京地区的电视收视率数据或许已被污染。再如,我国赴海外留学生的国内学校成绩,就一度存在许多造假行为,直到欧美出现更严厉的制约才有所收敛。无论如何,一旦数据本身的问题太多,则带来的只有大数据的灾难。

  我们知道,信息不对称的后果是扭曲了市场机制的作用,误导了市场信息,造成市场失灵。如果处在普遍的信息数据缺乏状态下,经济行为的不确定性也会增加,往往会降低市场效率。反之,是过犹不及,即便是在上世纪末所谓“信息爆炸”年代,也远不如当前阶段如此快速的信息积累。据统计,互联网上的数据每两年翻一番,而全球绝大多数数据都是最近几年才产生的。面对似乎逐渐“供大于求”的数据,如何找到有用的信息,成为利用大数据的关键问题。正如美国颇有影响力的预测专家纳特·西尔弗在《信号与噪声》一书中所分析的:“如果信息的数量以每天250兆亿字节的速度增长,其中有用的信息肯定接近于零。大部分信息都只是噪声而已,而且噪声的增长速度要比信号快得多。”由此看来,当数据信息铺天盖地而来之时,也可能距离真相越来越远。在现实中,对于一哄而上追求大数据的企业来说,也需要冷静思考下,在信息过度充分的年代,如何把数据真正变成真正的价值?

  大数据如同一把双刃剑,正如不少好莱坞电影中政府对公众无所不在的监控,大数据的爆炸,也让现代人对个人信息安全失控充满了担忧。斯诺登和棱镜事件,进一步在全球范围的国家之间提出这个疑问。一方面,在不可避免地拥抱大数据时代之前,可能更需要加强对其潜在风险的认识,做好基础数据净化、个人信息保护、国家信息安全等基础性建设;另一方面,大数据既可用来推动新商业模式演进,也可用来通过“抓坏蛋”,间接促进社会信息环境的完善,从而夯实大数据根基。

  via:上海证券报作者:杨涛作者系中国社会科学院金融研究所金融市场研究室主任

原文发布时间为:2014-06-05

本文来自合作伙伴至顶网,了解相关信息可以关注至顶网。

时间: 2024-08-30 23:14:01

从另一个视角看大数据的相关文章

从5大行业领域看大数据场景应用

大数据定义 对于"大数据"(Bigdata)研究机构Gartner给出了这样的定义."大数据"是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力来适应海量.高增长率和多样化的信息资产. 随着云时代的来临,大数据(Bigdata)也吸引了越来越多的关注.分析师团队认为,大数据(Bigdata)通常用来形容一个公司创造的大量非结构化数据和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱.大数据分析常和云计算联系到一起,因为实时的大型数

《Spark与Hadoop大数据分析》一一第1章 从宏观视角看大数据分析

第1章 从宏观视角看大数据分析 本书的目标是让你熟悉 Apache Spark用到的工具和技术,重点介绍Hadoop平台上使用的Hadoop部署和工具.大多数Spark的生产环境会采用Hadoop集群,用户在集成 Spark和Hadoop配套的各种工具时会遇到很多挑战.本书将讲解Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)和另一种资源协商器(Yet Another Resource Negotiator,YARN)面临的集成挑战,以及Spa

《Spark与Hadoop大数据分析》——第1章 从宏观视角看大数据分析

第1章 从宏观视角看大数据分析 本书的目标是让你熟悉 Apache Spark用到的工具和技术,重点介绍Hadoop平台上使用的Hadoop部署和工具.大多数Spark的生产环境会采用Hadoop集群,用户在集成 Spark和Hadoop配套的各种工具时会遇到很多挑战.本书将讲解Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)和另一种资源协商器(Yet Another Resource Negotiator,YARN)面临的集成挑战,以及Spa

用"数据"说话 从SACC看大数据应用之道

文章讲的是用"数据"说话 从SACC看大数据应用之道,正如<大数据的冲击>的书中提到的那句话:"Google.Amazon.Facebook.Twitter,这些称霸全球互联网的企业,它们的成功都具备一个共同的因素,你知道是什么吗?"当然不是商业模式,因为他们的商业模式不尽相同.当然也不是客户服务,尽管这个很重要,那这其中最重要的共同点恐怕就是大数据技术的应用. 曾经有人说互联网将改变很多的行业,但在热衷大数据技术的人眼里,真正改变那些行业的并不是互联网

如果云计算是一个容器,大数据就是这个容器里的水

云计算技术就是一个容器,大数据正是存放在这个容器中的水,大数据是要依靠云计算技术来进行存储和计算的. 1.云计算与大数据是什么关系? 云计算的关键词在于"整合",无论你是通过现在已经很成熟的传统的虚拟机切分型技术,还是通过google后来所使用的海量节点聚合型技术,他都是通过将海量的服务器资源通过网络进行整合,调度分配给用户,从而解决用户因为存储计算资源不足所带来的问题. 大数据正是因为数据的爆发式增长带来的一个新的课题内容,如何存储如今互联网时代所产生的海量数据,如何有效的利用分析这

一个摄影师的大数据项目

Rick Smolan是著名的摄影师和出版人,曾担任<国家地理>杂志.<时代>杂志.<生活>杂志 Newsweek(新闻周刊)>和<U.S. News & World Report(美国新闻与世界报道)>以及<财富>杂志摄影师,也曾经多次出现在TED和TEDx舞台上,这是他在2007年TED讲述一个难忘的故事:一个韩国美军遗留的混血小女孩儿,一张宿命般的照片和一段跌宕的领养传奇. 他录制有[Creative Inspirations

坐看大数据之道:51CTO专访大数据专家郑玮

大数据已经渗透进人们生活的方方面面,比如商店促销决策.政治活动指引等等.究竟大数据目前发展状况如何?51CTO专访大数据专家郑玮将为您讲述大数据之道. 专访视频专题,请访问<坐看大数据之道> NoSQL与大数据 NoSQL最早出现时,主要是Twitter这些社交媒体网站在用.因为他们需要处理每时每刻用户上传的海量图片.视频等非结构化数据.大数据概念提出之后,由于其在非结构化数据方面的优势,迅速融入大数据整体平台. HBase在大数据平台发展较快 为什么之前XML数据库没有成功?NoSQL的数据

王珊看大数据 - 产品和技术

王珊看大数据 发布时间:2012.05.16 09:22      来源:赛迪网     作者:赛迪网 大数据时代的到来,数据带来了爆炸式的增长,数据设备使真实世界能够被数字化处理,数据由量的积累而产生了分析处理价值. 中国人民大学信息学院教授.博士生导师王珊表示,大数据的来源主要来自互联网公司Facebook.大型企业.电信.金融等行业的简单数据类型和结构化数据.现在Facebook拥有强大的数据仓库.互联网和电子商务的发展使数据库技术面临着海量数据处理的挑战,需要高度的可扩展和高度的可伸缩.

一个电话 改变大数据命运的故事

凌晨3点时, Arun C. Murthy被一个电话弄醒了,公司要求他紧急处理一个软件bug.当时他是雅虎一个的广告定位App的工程师,App运行很缓慢,因为App启用开源数字平台Hadoop时的一串软件代码写得很糟糕.谁也不会想到,这个小bug,数年后却促成了官方Hadoop 2.0的诞生,改变了Hadoop的命运. 虽然是别人写的,但Murthy的工作就是修复它.谁也不会想到,这个小bug,数年后却为Hadoop生成了一个全新的路径:一个几乎和大数据概念几乎等同的软件系统. 今天,Hadoo