信息时代大数据的再认识

大数据已成为媒体与大众关注的新技术,大数据的应用也预示着信息时代将进入一个新阶段,但人们对大数据的认识有一个不断加深的过程。在当下的信息时代,我们对大数据应有新的再认识。

大数据兴起预示信息时代进入新阶段

中国已开始进入信息时代,但许多人的思想还停留在工业时代。经济和科技工作中出现的许多问题,其根源是对时代的认识不到位。经济新常态意味着中国进入了以信息化带动新型工业化、城镇化和农业现代化的新阶段。大数据、移动互联网、社交网络、云计算、物联网等新一代信息技术构成的IT架构“第三平台”是信息社会进入新阶段的标志,对整个经济的转型有引领和带动作用。媒体上经常出现的互联网+、创客、“第二次机器革命”、“工业4.0”等都与大数据和云计算有关。大数据和云计算是新常态下提高生产率的新杠杆,所谓创新驱动发展就是主要依靠信息技术促进生产率的提高。

中国的大数据企业已经有相当好的基础。全球十大互联网服务企业中国占有4席(阿里巴巴、腾讯、百度和京东),其他6个Top10 互联网服务企业全部是美国企业,欧洲和日本没有互联网企业进入Top10。这说明中国企业在基于大数据的互联网服务业务上已处于世界前列。在发展大数据技术上,我国有可能改变过去30年技术受制于人的局面,在大数据应用上中国有可能在全世界起到引领作用。我们要吸取过去基础研究为企业提供核心技术不够的教训,加强大数据基础研究和前瞻技术研究,努力攻克大数据核心和关键技术。

理解大数据需要上升到文化和认识论的高度

数据文化的本质是尊重客观世界的实事求是精神,数据就是事实。重视数据就是强调用事实说话、按理性思维的科学精神。中国人的传统习惯是定性思维而不是定量思维。目前许多城市在开展政府数据开放共享工作,但是发现多数老百姓对政府要开放的数据并不感兴趣。要让大数据走上健康的发展轨道,首先要大力弘扬数据文化。数据文化不只是大数据用于文艺、出版等文化产业,而是指全民的数据意识。全社会应认识到:信息化的核心是数据,只有政府和大众都关注数据时,才能真正理解信息化的实质;数据是一种新的生产要素,大数据的利用可以改变资本和土地等传统要素在经济中的权重。

提高数据意识的关键是要理解大数据的战略意义。数据是与物质、能源一样重要的战略资源,数据的采集和分析涉及每一个行业,是带有全局性和战略性的技术。从硬技术到软技术的转变是当今全球性的技术发展趋势,而从数据中发现价值的技术正是最有活力的软技术,数据技术与数据产业的落后将使我们像错过工业革命机会一样延误一个时代。

正确认识大数据的价值和效益

人们总是期望从大数据中挖掘出意想不到的“大价值”。实际上大数据的价值主要体现在它的驱动效应,即带动有关的科研和产业发展,提高各行各业通过数据分析解决困难问题和增值的能力。大数据对经济的贡献并不完全反映在大数据公司的直接收入上,应考虑对其他行业效率和质量提高的贡献。大数据是典型的通用技术,理解通用技术要采用“蜜蜂模型”:蜜蜂的效益主要不是自己酿的蜂蜜,而是蜜蜂传粉对农业的贡献。

有一个家喻户晓的寓言可以从一个角度说明大数据的价值:一位老农民临终前告诉他的3个儿子,他在他家的地中埋藏了一罐金子,但没有讲埋在哪里。他的儿子们把他家所有的地都深挖了一遍,没有挖到金子,但由于深挖了土地,从此庄稼收成特别好。数据收集、分析的能力提高了,即使没有发现什么普适的规律或令人完全想不到的新知识,大数据的价值也已逐步体现。

大数据研究和应用要改变过去各部门和各学科相互分割、独立发展的传统思路,重点不是支持单项技术和单个方法的发展,而是强调不同部门、不同学科的协作。数据科学不是垂直的“烟囱”,而是像环境、能源科学一样的横向集成科学。

从复杂性的角度看大数据研究和应用面临的挑战

图文检索、主题发现、语义分析、情感分析等数据分析工作十分困难,其原因是大数据涉及复杂的类型、复杂的结构和复杂的模式,数据本身具有很高的复杂性。大数据的复杂性还体现在数据之间的相互关联。大数据计算不能像处理小样本数据集那样做全局数据的统计分析和迭代计算,在分析大数据时,需要重新审视和研究它的可计算性、计算复杂性和求解算法。

大数据应用本质上是在给定的时间、空间限制下,如何“算得多”。从“算得快”到“算得多”,考虑计算复杂性的思维逻辑有很大的转变。所谓“算得多”并不是计算的数据量越大越好,需要探索从足够多的数据,到刚刚好的数据,再到有价值的数据的按需约简方法。

发展大数据应避免的误区

不要一味追求“数据规模大”。大数据主要难点不是数据量大,而是数据类型多样、要求及时回应和原始数据真假难辨。现有数据库软件解决不了非结构化数据,要重视数据融合、数据格式的标准化和数据的互操作。采集的数据往往质量不高是大数据的特点之一,但尽可能提高原始数据的质量仍然值得重视。脑科学研究的最大问题就是采集的数据可信度差,基于可信度很差的数据难以分析出有价值的结果。

一味追求数据规模大不仅会造成浪费,而且效果未必很好。多个来源的小数据的集成融合可能挖掘出单一来源大数据得不到的大价值。应多在数据的融合技术上下功夫,重视数据的开放与共享。所谓数据规模大与应用领域有密切关系,有些领域几个PB的数据未必算大,有些领域可能几十TB已经是很大的规模。

发展大数据不能无止境地追求“更大、更多、更快”,要走低成本、低能耗、惠及大众、公正法治的良性发展道路。要像现在治理环境污染一样,及早关注大数据可能带来的“污染”和侵犯隐私等各种弊端。

不要“技术驱动”,要“应用为先”。新的信息技术层出不穷,信息领域不断冒出新概念、新名词,估计继“大数据”以后,“认知计算”、“可穿戴设备”、“机器人”等新技术又会进入炒作高峰。我们习惯于跟随国外的热潮,往往不自觉地跟着技术潮流走,最容易走上“技术驱动”的道路。实际上发展信息技术的目的是为人服务,检验一切技术的唯一标准是应用。发展大数据产业一定要坚持“应用为先”的发展战略,坚持应用牵引的技术路线。技术有限,应用无限。各地发展云计算和大数据,一定要通过政策和各种措施调动应用部门和创新企业的积极性,通过跨界的组合创新开拓新的应用,从应用中找出路。

不能抛弃“小数据”方法。流行的“大数据”定义是:无法通过目前主流软件工具在合理时间内采集、存储、处理的数据集。这是用不能胜任的技术定义问题,可能导致认识的误区。按照这种定义,人们可能只会重视目前解决不了的问题,如同走路的人想踩着自己身前的影子。其实,目前各行各业碰到的数据处理多数还是“小数据”问题。我们应重视实际碰到的问题,不管是大数据还是小数据。

大数据界流行一种看法:大数据不需要分析因果关系、不需要采样、不需要精确数据。这种观念不能绝对化,实际工作中要逻辑演绎和归纳相结合、白盒与黑盒研究相结合、大数据方法与小数据方法相结合。

要高度关注构建大数据平台的成本。目前全国各地都在建设大数据中心,吕梁山下都建立了容量达2 PB以上的数据处理中心,许多城市公安部门要求存储3个月以上的高清监控录像。这些系统的成本都非常高。数据挖掘的价值是用成本换来的,不能不计成本,盲目建设大数据系统。什么数据需要保存,要保存多少时间,应当根据可能的价值和所需的成本来决定。大数据系统技术还在研究之中,美国的E级超级计算机系统要求能耗降低1000倍,计划到2024年才能研制出来,用现在的技术构建的巨型系统能耗极高。

我们不要攀比大数据系统的规模,而是要比实际应用效果,比完成同样的事消耗更少的资源和能量。先抓老百姓最需要的大数据应用,因地制宜发展大数据。发展大数据与实现信息化的策略一样:目标要远大、起步要精准、发展要快速。

本文转自d1net(原创)

时间: 2024-09-22 13:51:24

信息时代大数据的再认识的相关文章

大数据的力量来自“大成智慧”信息时代大数据的再认识

大数据已成为媒体与大众关注的新技术,大数据的应用也预示着信息时代将进入一个新阶段,但人们对大数据的认识有一个不断加深的过程.首先从"信息时代新阶段".数据文化和认识论的高度阐述了对大数据的理解:接着通过对驱动效益和大成智慧的解释,探讨了如何正确认识大数据的价值和效益,并从复杂性的角度分析了大数据研究和应用面临的挑战:最后对发展大数据应避免的误区提出几点看法. 1 大数据兴起预示"信息时代"进入新阶段 1.1 看待大数据要有历史性的眼光 信息时代是相对于农业和工业时代

信息时代大数据引爆资本市场 全产业链条遍地开花

  从国际市场看,随着计算机及其存储设备.互联网.云计算等技术的发展,大数据应用领域随之不断丰富,并开始向医疗.交通.政府等领域深入. 近年来,大数据研发及其应用引起了产业界.科技界和各国政府的高度关注.2012年,以美国政府启动"大数据研究与发展计划"为标志,全球开始了一轮大范围的大数据研发热潮. 大数据基于云计算的数据处理与应用模式,使其能够在合理时间内进行撷取.管理.处理,并整理成为帮助企业经营决策的资讯.克劳斯·施瓦布认为,大数据产业的引爆点,将是出现第一个用大数据资源替代人口

大数据助力运营商创新转型 中国信息通信大数据大会圆满召开

ZD至顶网CIO与应用频道 04月26日 北京消息:4月20-21日,由人民邮电出版社主办,<大数据>杂志.<电信科学>杂志.通信世界网协办,信通传媒.数创汇承办的中国信息通信大数据大会在京成功召开. 大咖云集"政产学研"智论产业发展 作为国内首场通信业大数据思想盛宴,大会围绕运营商聚集了"政.产.学.研.用.企",信息通信.大数据.互联网等各个领域的400+前沿代表和践行者们的热情参与.众多行业领袖齐聚一堂,从不同视角.不同层面,分享当前通

智能互联时代 大数据成企业核心资产

文章讲的是智能互联时代 大数据成企业核心资产,在4月8日的中国基金业金牛奖颁奖典礼现场,国务院发展研究中心企业研究所所长马骏发表了<智能互联时代的企业变革>.在演讲中提到了企业当下需要关注的4个趋势:1.产品从硬件转为软硬并重;2.企业与用户的交易转变为长期服务;3.大数据成企业核心资产;4.企业间竞争演变为产业生态圈竞争. 国务院发展研究中心企业研究所所长马骏(图片来源于网络) 以下内容整理自网络公开的演讲实录: 上世纪90年代,做投资的思路是重点寻找"中国的GE.索尼"

专访邓中亮:位置信息是大数据的基石(图)

想在北京的街道里开一家门脸超过5米的商店,而不被数字地图公司记录在案,绝非易事:想在北京开车出门吃一顿饭,不被摄像头记录也不是一件容易的事情.在http://www.aliyun.com/zixun/aggregation/9204.html">基于位置服务的社交网络上,人们也许会发现今天你先进入"为民刻字部", 然后去了"李记削面馆".而这些所 有的位置信息汇聚起来就形 成了大数据. 3721.html">2014年1月20日,北京

信息通信大数据产业联盟在京正式成立

ZD至顶网CIO与应用频道 04月26日 北京消息:2016年4月20日,由人民邮电出版社联合70多家大数据企事业单位自愿发起的信息通信大数据产业联盟(以下简称通数盟)在京正式成立,并同期召开联盟首次理事会.通数盟是国内首个专注于信息通信大数据产业资源整合与创新发展的开放行业组织,秉承着"助推产业,服务会员"的理念,结合发挥"政产学研用"的资源优势,致力于搭建信息通信大数据公共交流合作服务平台.通数盟成员单位包括了我国信息通信大数据产业链上.下游的有关政府部门.知名

多家酒店信息泄露 大数据时代个人信息安全拉响警

今年美国爆发的"棱镜门"事件,引起了全球对于个人信息安全的思考. 的确,身处大数据时代,任何一个小动作都可能成为信息泄露的源头.近日,国内安全漏洞监测平台乌云就发布报告称,浙江慧达驿站网络有限公司(以下简称"慧达驿站")为国内 大量酒店提供的无线门户 认证系统存在信息泄露的安全隐患. 酒店Wi-Fi 疑为泄露源头 乌云网于10月5日公开的报告显示,如家.汉庭.7天.格林豪泰等不少知名经济型连锁酒店全部或部分使用了慧达驿站开发的酒店Wi-Fi管理.认证管理系统.慧达驿

个人敏感信息滥用 大数据时代信息保护遭挑战

我们的背后不知道有多少窥视的眼睛,身份.位置.银行账号--各种个人敏感信息正被各形各色的采集者获取,滥用.泄露的风险无处不在.大数据时代,个人信息保护正遭受严峻的挑战. 你放心把自己的钥匙交给陌生人吗? 在不久前支付宝的一次升级中,用户可以提供更多信息用以提升芝麻信用值.当中国移动员工宁宇发现支付宝希望客户提供客服密码,授权给芝麻信用使用时提出了质疑:"把你的客服密码告诉支付宝,就等于把自己家的钥匙交了出去,你放心么?" 我国电信运营商都要求客户设置客服密码,通过这组6位数字的密码可以

个人敏感信息滥用 大数据时代信息保护遭严峻挑战

我们的背后不知道有多少窥视的眼睛,身份.位置.银行账号--各种个人敏感信息正被各形各色的采集者获取,滥用.泄露的风险无处不在.大数据时代,个人信息保护正遭受严峻的挑战. 你放心把自己的钥匙交给陌生人吗? 在不久前支付宝的一次升级中,用户可以提供更多信息用以提升芝麻信用值.当中国移动员工宁宇发现支付宝希望客户提供客服密码,授权给芝麻信用使用时提出了质疑:"把你的客服密码告诉支付宝,就等于把自己家的钥匙交了出去,你放心么?" 我国电信运营商都要求客户设置客服密码,通过这组6位数字的密码可以