国家统计局打造数据“统计云”

   统计数据被喻为国家“战略金矿”,而中国国家数据统计由于采用了国家、省、地、县、乡、村六级系统,在相当长的一段时间内无法实现全国统一的统计平台。近年来,统计局着力通过IBM的小型机打造核心业务系统建设,一个覆盖全国、随需扩展、统一业务的“统计云”正初现规模。

  据国家统计局数据管理中心主任许剑毅介绍,国家统计局的应用系统是一个庞大的系统。首先,处理信息量很大,可以说是海量数据,除了常规收集社会经济发展信息以外,还有一些大型的国情国力调查。其次,统计数据的时效性很强,除了年报还有很多月报。这也造成了数据的高并发性特征。

  许剑毅表示,“从硬件的处理能力来看,大型主机当然适用,但主机系统开销太大,对于国家统计局这种并非直接产生效益的部门来讲,一定要选择性价比更为突出的硬件设备。”为此,国家统计局数据管理中心在核心业务系统的硬件核心中选择了小型机,并在二期工程中购入了包括4台最新的IBM POWER780在内的小型机。

  “我们的思路是用小机器代替大机器的作用,把小的机器通过集群的方式,集群到核心业务系统来满足业务需求。”许剑毅表示。与此同时,建立一个全国各级统一的系统也是国统局需要解决的,“统计云”就是按照这样的需求提出来的。

  目前,国家统计局数据管理中心在“统计云”核心业务系统形成了四大资源池:Web服务器资源池、应用服务器资源池、数据库服务器资源池和存储资源池。存储资源池采用了统一的存储,实观了对老旧设备的统一管理。数据库资源池通过IBM基于POWER小型机的虚拟化技术实现了整个数据库的资源灵活调用。应用服务器根据应用的不同选择了异构架构,包括IBM POWER小型机,同时也选用了其他品牌的小型机和PC服务器,组成虚拟化的应用服务器的资源池。异构原理是通过负载平衡来实现的,每个资源池之间通过防火墙以及其他安全手段实现了隔离。

  据统计局数据管理中心王洪琛处长介绍,数据库资源池中一共由两台IBM Power595和四台IBM Power780构成,通过IBM虚拟化技术,整个资源池可以在满足现有应用横向扩展需求的同时,将对整个系统硬件资源分配进行调整,在不影响人口普查与企业联网直报两大业务的前提下,配置部分资源用于新增的其他业务。

  “基础架构云中,数据库云是通过Power来实现;应用服务器云一个通过IBM的应用服务器,以来应对大并发的应用,IBM Powre595和IBM Powre780发挥了很好的作用,Web服务器云采用的都是刀片式服务器。基于x86的应用服务器也会支撑一些非关键业务的发展。”王洪琛表示,无论是哪种云、基于哪种架构的,所有的都是冗余性的,会最大限度保证业务的高可用和持续性。

  许剑毅指出,系统整个设计之初是按照百万级高并发量设计的,“利用虚拟化、云计算这些技术百万级不会是问题,甚至可以达到千万级。”许剑毅认为,该套系统也较好地发挥了IBM小型机练级处理高并发的能力,人口普查就很好地检验了这套系统,“整个系统的协调、运算能力非常强。”许剑毅称,之前13亿多人的表格单机处于需要一天甚至更多的时间,而基于新的系统,两分钟可以搞定。

  对于统计局未来信息化发展,许剑毅表示,推进统计系统“一网 、一台、一库”建设将成为重中之重。其中,“一网”指从统计局计算中心到地级市县,建立统一网络,构建信息高速公路;“一台”是指构建统计网络系统核心业务处理平台,保证全国统计业务平台统一集中;“一库”则是统计数据大集中,建立统一集中的数据库。数据大集中使统计数据采用统一标准,统一管理,统一计算,从而使统计的数据结果更具有科学依据。

  现在,国家统计局数据处理中心正在开发全国的统一数据处理的应用平台,建成后,中心将集中全国的统一业务,使得核心业务系统可以为整个统计工作提供云服务。这样,企业在全国任何一个地方登录这个平台,都可以完成企业的报送任务。同样,一个基层的统计人员登录这个平台后,可以看到他所管辖的这些企业的报送情况,并及时发起催报和数据审核工作。这意味着,每个人在这套系统中都有惟一的身份,从而确定了相对应的管理权限。核心业务系统将彻底改变过去系统建设分散、系统不统一、机房建设浪费等状况,为整个统计局的业务处理提供一个云服务。未来,企业联网直报将从现在的百万级别提高到千万级别,核心业务系统也将整合更多的数据和应用。

  国家统计局数据管理中心主任许剑毅表示:“这套系统从硬件到软件都采用了最新的技术。目前这套系统的北京节点已经建立好,全国包括北京在内将一共建立五个节点,未来工作人员无论在哪个地区登录,只要进入这个系统,就将按照自己的角色去完成自己的工作。”

时间: 2024-10-23 17:15:34

国家统计局打造数据“统计云”的相关文章

IBM与统计局共同打造“统计云”

国家数据统计层级共分为国家.省.地.县.乡.村六级系统,采取统一领导.分级负责的体制,这也遗留下来一个历史难题:各级统计在事实上形成了多套系统.应用散乱的局面,不仅国家很难获得全面的一手数据资源,各地甚至各县.乡都要自建机房,这也造成了资源浪费.尽管国家统计局信息化建设很早,从微机代替算盘开始起步,还在国内建立了第一个广域网,进而解决了数据直报的时效性难题,但此后,海关.税务等部门通过"金字工程"纷纷搭建了网上报关.网上报税等统一的业务平台,而国家统计局却在相当长的一段时间内无法实现全

国家统计局尝鲜云计算:“统计云”进驻核心系统

统计数据被喻为国家"战略金矿",其重要性不言而喻.统计数据背后需要面对的则是统计工作现代化.对于推进统计工作现代化,根本是实现工作的规范化和统计数据生产过程的信息化,积极推进联网直报工作和企业统计"一套表"改革,实现统计报表布置和统计数据采集.审核.处理.上报.存储.共享和发布的网络化和计算机化. 可以说,信息化建设已经成为国家统计局发展的"生命线",这也使其拥有了少见的技术敏感度和敢于"尝鲜"的勇气.对于云计算这一在外界看来

云狐7月下旬推出游泳数据统计智能手表AWatch

云狐7月下旬推出游泳数据统计智能手表AWatch6月20日消息,消息称国内科技厂商云狐时代将在7月推出游泳数据统计智能手表云狐AWatch.据了解,AWatch将集防水.防尘.防震与游泳运动量.体能消耗数据记录等功能为一体,可为用户进行卡路里统计.心率监控和运动强度管理,随时监控记录用户在水下运动的各种健康运动参数.在外观设计上,AWatch彰显粗旷.健硕,有着明显的户外风格,并采用IP68军标防护标准,在各种泳姿的频繁剧烈运动中也可以有效防水.硬件方面,AWatch搭载了一块1.6寸的高分辨率

华硕2013年再打造3个云数据中心

据国外媒体报道,华硕将在2013年初再打造3个云数据中心,满足用户云服务需求的不断提升.   华硕子公司--华硕云董事长Andy Huang表示,这3个数据中心将在台北.上海.洛杉矶,为全世界的用户提供云计算服务.   在过去的两年,云计算用户数据和云数据存储服务都在大幅增加,新建的数据中心将提供更好的云服务,满足用户不断增长的需求.   Andy Huang表示,华硕云数据中心的还将在中国北部.美国东部和欧洲选址,新建更多的数据中心,目前选址待定,可能在天津.哈尔滨.重庆.美国波士顿.法兰克福

贵阳构建“大数据+教育”云服务体系 助推创新型中心城市建设

人们印象中影响学习的电子产品,搭载教学内容后,就能发挥正面作用.近日,在贵阳六中高一年级的物理课堂上,同学们就用上了Pad进行自主学习. "布置预习大纲.配套练习题.录制预习视频.查看学生完成情况.在线师生互动--这些工作在Pad教师端上都能轻松完成.在课堂上,学生通过Pad完成练习题后提交,老师能根据统计情况判断教学重点难点,不再像过去光凭经验."贵阳六中物理老师夏江说. 大数据应用于教育,能够科学分析学生的学习行为.学习程度.学习习惯,以及学校的精细化管理程度,以便为学生配置个性化

大数据和云的时代,运动从此与众不同

今年是IBM成为中网赞助商的第二个年头,该赛事正变得http://www.aliyun.com/zixun/aggregation/30537.html">独一无二,这一点毫无疑问.比如当你看到种子球员的名单时,你会误以为是在罗兰·加洛斯,因为加上新科出炉的美网男单冠军--西里奇,这里有12位获得过大满贯单打冠军的巨星. 我们也在思考IBM能为它做些什么,虽然我们早就意识到网球跟科技的密不可分,我们也做得很努力,就像很多粉丝已经无法接受一届没有Slam Tracker的温布尔登公开赛. 这

大数据和云的时代 运动从此与众不同

ZDNet至顶网软件频道消息:今年是IBM成为中网赞助商的第二个年头,该赛事正变得独一无二,这一点毫无疑问.比如当你看到种子球员的名单时,你会误以为是在罗兰·加洛斯,因为加上新科出炉的美网男单冠军--西里奇,这里有12位获得过大满贯单打冠军的巨星.   本文作者:IBM大中华区副总裁.首席营销官周忆 我们也在思考IBM能为它做些什么,虽然我们早就意识到网球跟科技的密不可分,我们也做得很努力,就像很多粉丝已经无法接受一届没有Slam Tracker的温布尔登公开赛.        这个比赛统计的"

构建“大数据+教育”云服务体系

助推创新型中心城市建设 --贵阳实施"教育立市"战略提升整体水平综述(三) 人们印象中影响学习的电子产品,搭载教学内容后,就能发挥正面作用.近日,在贵阳六中高一年级的物理课堂上,同学们就用上了Pad进行自主学习. "布置预习大纲.配套练习题.录制预习视频.查看学生完成情况.在线师生互动--这些工作在Pad教师端上都能轻松完成.在课堂上,学生通过Pad完成练习题后提交,老师能根据统计情况判断教学重点难点,不再像过去光凭经验."贵阳六中物理老师夏江说. 大数据应用于教育

小米新一代大数据统计平台大公开

首次来到台北的小米研发架构师欧阳辰,看见城市中川流不息的摩托车车流,引起了他的注意:「它的特色很像大数据」,除了数量多.变化快,以及难以预测动向,摩托车也和大数据一般,都是解决人类生活在社会中的一项工具,「未来大数据会是重要的社会基础架构,就像水.电力一样.」 谈起大数据,不免回归最基本的问题:它跟传统数据分析的区隔为何. 欧阳辰表示:「在目标上,我认为两者没有区隔」,欧阳辰表示,传统统计分析解决的问题如人口统计议题,只需要经过随机抽样方法就能解决.但是碰上投放商业广告,若仍靠传统抽样分析结果,