大数据发展的根基是什么?

如果将单个或局部领域的数据及其挖掘处理视为小数据,那么关于某一主体的大数据就是由成千上万、相互关联、相互交织的小数据汇聚而成的。小数据的充分融合,就是大数据形成的根基。

文|李庚南

大数据活在“云端”!唯有云计算能让大数据找到自己的轨迹和存在的真正价值;但大数据不是无根的浮云,它有自己的根,源源不断输送数据的根。

那么,大数据的“根”在哪里?日前国务院出台的《促进大数据发展行动纲要》(以下简称《行动纲要》)或许可以让我们找到答案。

《行动纲要》明确提出了促进大数据发展的三大重点任务和十项工程。三大重点任务之首即加快政府数据开放共享,推动资源整合;十项工程前四大工程涉及政府信息,即:政府数据资源共享开放工程、国家大数据资源统筹发展工程、政府治理大数据工程、公共服务大数据工程。不难发现,三大重点任务、十项工程的关键词就是共享,而政府数据的开放共享是核心。

共享是大数据的“根”

大数据与云计算,或许就像一枚神奇的金币之正反面,让许多人感觉“云里雾里”、亦真亦幻,却又能真切地感受到金币的光芒。

什么是大数据?按照维基百科的定义,大数据是指无法在可承受时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据的基本特点可以概括为“4V”:大量化(Volume)多样化(Variety)、快速化(Velocity)、价值化(Value),即海量的数据规模、快速的数据流动和动态的数据体系、多样的数据类型、巨大的数据价值。

而《大数据时代》的作者维克托·迈尔·舍恩伯格给出的解释或许更易于理解,他认为,“大数据”并不是很大或者很多数据,并不是一部分数据样本,而是关于某个现象的所有数据。比如说关于一家企业的数据信息,除了企业名称、法定代表人、注册资本、经营范围等基本信息外,还包括财务信息、经营信息、外部关联关系、诚信状况等信息。大量、多维、立体、交织信息的汇集,就可以为不同主体、基于不同需求分析企业提供数据基础。

如果将单个或局部领域的数据及其挖掘处理视为小数据,那么关于某一主体的大数据就是由成千上万、相互关联、相互交织的小数据汇聚而成的。小数据的充分融合,就是大数据形成的根基。譬如一滴水,唯有与别的水滴融合在一起,才能形成水流,才能汇成江河、海洋,才能发挥水的价值。这种融合就是共享。没有小数据的共享,就没有大数据生长的“根”。

要从海量的数据中快速地分析、挖掘出有用的信息,单台计算机已难以胜任,必须采用分布式架构,依托云计算的分布式处理、分布式数据和云存储、虚拟化技术,即透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多部服务器所组成的庞大系统经搜寻、计算、分析之后将处理结果回传给用户。这就是与大数据相依相存的云计算。显然,如果没有数据的共享,云计算也是“无米之炊”。

当然,数据能否共享,涉及到数据的开放性、法律边界、数据价值实现等问题,还面临诸多现实障碍。

谁阻碍了数据共享?

当我们沉醉于大数据的奇妙与魔法无边的时候,现实世界却给了我们一记响亮的耳光!我们会沮丧地发现,许多政府公共信息仍处于零散、分割、封闭状态!

各级政府部门在履职过程中掌握了大量的数据信息,其中涉及企业(个人)的数据最为丰富。目前普遍认为比较有用的企业信息大致包括四个方面。

一是反映企业基本情况的信息。包括:工商部门提供的企业注册登记信息,注册资本、股东及高管变更情况等;环保部门提供的企业环境违法处罚信息、环评审批、排污许可证和排污权抵押登记情况等;质监、安监、食品药监、卫生等部门提供的各项资质信息。

二是反映企业真实经营状况的信息。包括:税务部门提供的企业应税销售额,纳税、退税情况等;人力社保部门提供的企业社保缴纳、劳动争议情况、劳动保障书面审查信息等;海关部门提供的进出口信息、企业报关情况等;水、电、气部门提供的缴费及欠费情况等。

三是反映企业及企业主资信状况及守法情况的信息。包括:公安、法院等部门提供的企业或企业主的司法诉讼、执行、查封信息等;工商、环保、人社、税务、质监、安监、食品药监、卫生、海关等部门提供的处罚信息。

四是反映企业融资、财产抵质押、对外担保等情况的信息。包括:人民银行[微博]征信系统提供的贷款、质押信息,工商部门提供的股权转让、抵押、查封信息等;房产部门提供的房地产权属、抵押、查封、租赁信息等。

这些涉及企业的各种信息资源散落在不同的政府管理部门,总体处于彼此分割、孤立、封闭状态,没有实现数据之间的共享、连接和融合,更谈不上大数据价值的体现。

尽管近年来,各级政府都在积极搭建公共信用信息平台,推动社会征信体系建设,特别是《国务院关于印发社会信用体系建设规划纲要(2014—2020年)的通知》出台后,步伐进一步加快,各部门也大多建立了自身的信息管理系统,但部门之间信息不共享或共享不充分仍是常态。即使有一些全国性、地区性的统一信息平台,如“全国企业信用信息公示系统”“信用浙江”等,所含企业信息也非常有限,且不完整、不及时。

这种信息割裂的状态,不仅不利于大数据的发展,从眼前看,则对具体运用大数据的相关主体的发展形成阻碍。比如,银行业在服务实体经济特别是小微企业过程中,面临的突出瓶颈之一,就是信息瓶颈。银行业开展小微企业信贷业务面临的最大困惑是信息不对称。信息的不对称使银行在发放小微企业贷款时难免“如履薄冰”,顾忌甚多。因此,能否切实掌握和了解反映企业真实经营状况、企业及企业主资信状况等相关信息,在很大程度上决定了银行对小微企业放贷的意愿以及介入小微企业信贷领域的深度。

目前客观存在的企业信息难共享之格局,根源在于部门利益。相关政府部门在参与公共信用信息平台建设时,出于种种原因,往往叫得响、做得少。一些部门出于自身商业利益,将自身所拥有的大量公共信息视为“私有财产”,以有偿作为提供信息的条件;或以维护商业秘密、涉及部门机密为由,不愿将拥有的、本属于公共资源的企业信息与其他部门共享,或者象征性地扔几根“骨头”,人为造成了企业信息的分割、残缺,也造就了许多“僵尸”信息平台;有些信息的共享按说不应存在障碍,只因为一些数据拥有的部门感觉“吃力不讨好”,缺乏主动提供数据的动力。

当然,也不排除个别地方政府从局部利益出发,对可能影响当地企业发展的行政处罚类负面、失信信息的公开加以阻扰,影响信息数据的共享。深层的原因,则是社会信用体系建设法制化步伐缓慢,公共信息征集机制不健全,对相关部门提供、公开相关政务信息缺乏有效的约束,以及信用信息使用在公开与保密之间的法律边界不清晰。

怎样走向数据共享?

《行动纲要》把加快政府数据开放共享、推动资源整合列为首要任务,把推动政府数据资源共享开放工程、国家大数据资源统筹发展工程、政府治理大数据工程、公共服务大数据工程等工程建设作为促进大数据发展的基础设施工程。说明政府高层对信息共享问题的高度关注。

显然,推动数据共享的起点是政府部门间的信息共享,而这恰恰是难点所在。这是一个系统性艰巨工程,也是一个渐进的过程,既需要加快社会征信体系的法制化进程,更需要政府及相关部门创新思维。

搭建统一、公开、透明的社会信用信息共享平台,有效整合政府各部门信息。对于拥有各种管理资源的政府而言,搭建一个比较完备的信息平台框架似乎并不难,难就难在能否实现信息的充分共享。如何让信息平台所涉及的政府部门主动、及时、充分地将自身所拥有、可公开的数据信息共享到统一的信息平台,关键是要强化信息征集的行政约束力,建立公共信息共享平台的保障机制。

在现行体制下,笔者以为政绩考核“指挥棒”或是推动信息共享之“神器”。应以推动《社会信用体系建设规划纲要(2014—2020年)》实施、落实政务公开制度为抓手,将公共信用信息共享系统数据信息的报送纳入政府对相关部门的考核,前提是要充分研究和界定各类信息公开的法律边界,特别是在对各类违法违规信息、不诚信行为信息的公开方面,应明确可以采取的共享方式和程度,以打消信息发布各方的顾虑。在此基础上,制定清晰的公共信息共享清单,明确相应的责任与义务。

小数据不能共享,大数据必是空谈。所以,看大势、顾大局、破本位,推进小数据共享,是政府部门在大数据时代应有的思维。

本文作者:李庚南

来源:51CTO

时间: 2024-10-22 01:48:19

大数据发展的根基是什么?的相关文章

数据挖掘:大数据发展的核心驱动力

近年来,随着"大数据成为热门词汇,金融业在这一领域不断进行研究和探索.就金融业和大数据相关问题,本报记者近日专访中国民生银行发展规划资深 专家王彦博.王彦博认为,数据挖掘是大数据发展的核心驱动力,金融业依托大数据东风,通过有效运用数据挖掘,能够更好地识别客户和服务客户,实现与客户的 互利共赢.同时,他认为,贵阳在发展大数据产业中思路清晰.战略方向明确,相关政策对大数据人才具有一定吸引力,并由此带来大数据相关理念.技术.设施和 应用发展,可为大数据产业.金融行业等发展带来重大机遇. 国内大数据产业

《促进大数据发展行动纲要》发布 部署三大任务助力经济转型

ZD至顶网软件频道9月6日消息 : 如何把数据变成黄金,是许多企业在寻求升级转型路上的核心要点.数据的重要性在互联网+时代被视为核心要素.据国家金融信息中心指数研究院发布报告显示,2010年我国大数据市场规模为32亿元,到2016年预计将达238亿美元.有分析称,在未来5到10年,大数据产业将可能迎来黄金增长期.近日,国务院公开发布<国务院关于印发促进大数据发展行动纲要的通知>,纲要的印发,将惠及全民,助力经济转型. <纲要>指出,目前我国在大数据发展和应用方面已具备一定基础,拥有

水利部印发《关于推进水利大数据发展的指导意见》的通知

部机关各司局,部直属各单位,各省.自治区.直辖市水利(水务〉厅(局),各计划单列市水利(水务〉局,新疆生产建设兵团水利局: 为贯彻落实<国务院关于印发促进大数据发展行动纲要的通知>(国发[2015]50号〉精神,推动数据资源共享开放,促进水利大数据发展与创新应用,水利部网络安全与信息化领导小组办公室组织编制了<关于推进水利大数据发展的指导意见>. 现印发给你们,请结合实际贯彻执行. 水利部 2017年5月2日 关于推进水利大数据发展的指导意见 党的十八届五中全会明确提出实施国家大数

2013年展望:大数据发展十大趋势分析

本文讲的是2013年展望:大数据发展十大趋势分析,2012年大数据发展如火如荼,大有赶超云计算之势.如果把今年比作大数据落地生根的一年,那么2013年将迎来其茁壮成长,甚至开花结果的一年.有预测称,大数据市场将以每年40%的速度增长,2012年大数据市场规模约为50亿美元,2013年将翻倍.2013年大数据发展有哪些新趋势呢?不管是IDC.Gartner还是国内大数据研究机构都给出了各自的答案,笔者在这里总结一下各方观点,并谈谈自己的想法. 预测1:开源大数据商业化 随着闭源软件在数据分析领域的

湖北省大数据发展行动计划(2016-2020年)

各市.州.县人民政府,省政府各部门: 现将<湖北省大数据发展行动计划(2016-2020年)>印发给你们,请结合实际,认真组织实施. 2016年9月14日 湖北省大数据发展行动计划(2016-2020年) 大数据是继云计算.物联网和移动互联网之后新一代信息技术革命的制高点,是当今社会重要的基础性战略资源,不仅代表着当前信息技术的新热点.产业发展的新方向,更是加快推动经济社会转型升级的新引擎.为贯彻落实<国务院关于印发促进大数据发展行动纲要的通知>(国发[2015]50号)精神,推动

大数据发展详解:从小样本到大数据,从理论到价值

从小样本到大数据:概念与误区 在最近这两年所产生并记录的数据总量已经占到了人类文明从开始以来的所有数据总和的90%.我们一直不停地记录着一切有价值的信息,世界和万物的变化数据形成了一座"自动生长"的金矿,数据挖掘技术则负责从矿山中挖出金子. "大数据"这个词早期是IBM和EMC鼓吹的一种商业概念,自诞生之日就有概念包装的商业基因.明白这一道理就不会过分纠结"到底什么是大数据","多大数据算大数据"之类的问题.这一概念包含了我们

国务院常务会议通过《关于促进大数据发展的行动纲要》

国务院总理李克强8月19日主持召开国务院常务会议,部署发展现代流通业建设法治化营商环境,构建全国统一大市场旺消费促发展:通过<关于促进大数据发展的行动纲要>,提升创业创新活力和社会治理水平:决定进一步加大对小微企业的税收优惠,涵养就业潜力和经济发展持久耐力. 会议指出,做强现代流通业这个国民经济大产业,可以更好对接生产和消费,促进结构优化和发展方式转变.一要坚决清除妨碍全国统一大市场建设的各种"路障",禁止滥用行政权力限制或排除公平竞争,禁止利用市场优势地位收取不合理费用或

魏凯:如何突破大数据发展的瓶颈

大数据已经上升成为国家战略,社会各界对大数据的期待上升到了前所未有的高度.如何务实推动大数据战略落地,成为接下来的政策重点.本文重温了大数据的内涵,分析了大数据的局限性,结合国内大数据发展面临的瓶颈,提出了相关的策略建议. 1引言 2015年,我国<促进大数据发展行动纲要>出台,十八届五中全会进一步提出要在"十三五"期间实施国家大数据战略,大数据一路上升成为国家战略,社会各界对大数据的期待上升到了前所未有的高度.如何推动大数据战略落地成为未来几年的政策重点.本文重温了大数据

【独家干货】马宁宇:贵州大数据发展的探索与机遇

演讲全文: 大数据是把我们召集在一起的一个主题,非常高兴今天在这里能见到这么多关注大数据,做大数据的校友.见到大家特别高兴,你们就是我的依靠.我们做研究,希望能够与社会各方面相关,所以我们的视角,甚至我们的语言体系能够跟需求方有结合. 我记得两年前杨斌老师跟我讲,学校筹建数据科学院的时候把"大"字去掉了.因为"大数据"是商业概念,而"数据"是从学术的角度来谈的,希望学校的老师.同学以严谨学风去对待它.同时,大数据又是落地的学科.关注社会的学科.贵