云计算虚拟化让实时海量数据处理无忧

“国统局数据显示全国70个大中城市房价上涨势头明显遏制”、“国统局调查显示中国群众最关注医疗问题”、“国统局称3月份CPI同比涨幅创31个月以来新高”……

  类似以上的这些消息我们经常可以看到,国家统计局源源不断地向社会公布涉及国家经济发展、民生等各个层面的数据。而这些庞大的数据处理背后是怎样的一个IT系统在支撑?涉及到省市级各个层面的数据是如何汇总到国家统计局的呢?庞大的数据处理对于IT系统会有哪些挑战?对于种种疑问,国家统计局数据管理中心主任许剑毅向记者介绍了目前国家统计局整个IT系统的建设思路,同时国家统计局数据管理中心王洪琛处长详细介绍了虚拟化和云计算技术在整个系统中的作用。

  运用云计算虚拟化直面挑战

  去年,记者在采访许剑毅时,他就给记者描述了一副“统计云”的画面:国家统计局正在建整个统计数据系统的私有云,今后国统局统计数据的采集、加工、处理,都以北京为中枢数据中心,再分四个阶层,逐层伸向全国。

  再次见到许剑毅,是在国统局核心业务系统项目在进行二期之时,对于“统计云”的建设,许剑毅又有了更多的感受和想法。

  经过多年的发展,国统局信息化建设已经取得了很大的成绩,然而更多的数据处理,尤其在时效性、准确性方面要求更多,给国统局的信息化建设带来挑战。“国统局的应用系统非常庞大,其海量数据处理量、高并发量等对于IT系统都会是挑战。”许剑毅指出,要改变这些情况,硬件设备能力、性价比都是所要考虑的。

  “我们的思路是用小机器代替大机器的作用,把小的机器通过集群的方式,集群到核心业务系统来满足业务需求。”许剑毅指出这是国统局的一个思路,与此同时,建立一个全国各级统一的系统也是国统局需要解决的,“统计云”就是按照这样的需求提出来的。

  许剑毅向记者详细介绍了目前国统局IT系统的组成情况。“国统局利用现在最先进的虚拟化、云计算、资源池这些先进的IT技术,以国统局为中心建立国家统一的核心业务系统,包括统一的数据中心。”许剑毅特别提出了,其系统架构里用到的10台IBM最新的小型机(包括6台IBM Powre595服务器和4台IBM Power780服务器)构成的集群,“整个架构里利用了IBM等多家公司的最新的产品和技术,使得整个系统里没有单一故障点,从而解决安全问题。”

  与此同时,国统局的核心业务系统还需很好解决高并发的问题。许剑毅指出,系统整个设计之初是按照百万级高并发量设计的,“利用虚拟化、云计算这些技术百万级不会是问题,甚至可以达到千万级。”许剑毅认为,该套系统也较好的发挥了IBM小型机练级处理高并发的能力,去年的人口普查就很好的检验了这套系统,“整个系统的协调、运算能力非常强。”许剑毅还给了我们一个数据,之前13亿多人的表格单机处于需要一天甚至更多的时间,而基于新的系统,两分钟可以搞定。

  大统一的思想贯彻国统局整个信息化建设的过程中,云的思想也跃然其中。许剑毅说目前国统局正在开发全国统一的数据处理应用平台,而下一步也希望以此为中心统一业务应用。“全国统一的业务将会集中到一套核心业务系统上来处理,为整个统计工作提供一个云服务。”许剑毅描绘到,国统局的信息化建设正在一步步迈向大统一的“统计云”。

  四个资源池各司其职 小型机支撑核心业务发展

  许剑毅向我们描述了国统局整个IT系统的状态,以及其所能发挥的作用,给我们描绘了一副充满“诱惑”的统计云,而这个系统到底有哪些硬件设备在支撑,云计算、虚拟化又是怎样发挥着作用呢?王洪琛就从技术层面向记者做了详细介绍。

  私有云的理念对于整个国统局来说有着很强的吸引力,尤其是立于服务的云。王洪琛告诉记者,完整的私有云概念实施起来会有难度,但是依然需要在这个思想的指导下,去架构整个IT系统。目前国统局在基础架构云层面做了很多工作。

  “随着业务发展,如果不断买机器,承重、电、空间都不够,在这种情况下虚拟化技术让一台机器支持更多的应用,这是在PC服务上经过几年的探索已经实现了,并且效果还是不错的。”王洪琛指出,这种成功也希望能够复制到小型机上来,“小型机安全可靠,一直支持着国统局重要的业务,然而实施其虚拟化也会存在兼容、统一平台的问题。”IBM的解决方案在王洪琛看来是最能满足国统局的需求的。

  关于整个基础架构的规划,资源池的调用,王洪琛介绍到其一共划分为四个资源池,即Web服务器、应用服务器、数据库以及存储各属一个资源池。四个资源池也根据不同的需求和标准进行各自的统一。其中“数据库池是通过IBM的基于小型机的虚拟化技术,实现整个数据库资源池的调用。另外通过不同品牌的小型机或者PC服务器组成虚拟化的应用服务器的资源池。”王洪琛也强调各个资源池之间的防火墙等安全手段必须做好,确保安全性。

  对于目前业界说到很多的基于x86的应用服务器,在国统局的IT系统中我们也可以看到。“基础架构云中,数据库云是通过Power来实现;应用服务器云一个通过IBM的应用服务器,以来应对大并发的应用,IBM Powre595和IBM Powre780发挥了很好的作用,Web服务器云采用的都是刀片式服务器。基于x86的应用服务器也会支撑一些非关键业务的发展。”王洪琛强调,无论是哪种云、基于哪种架构的,所有的都是冗余性的,会最大限度保证业务的高可用和持续性。

  完善、稳固的基础架构云为整个统计云的实现打定了坚实的基础。

  第一个吃“螃蟹”的总是会引起众多的关注,伴随而来的也会有各种各样的疑问,许剑毅指出IT是为业务服务的,只要新技术能够为业务发展带来实在的好处就应该去尝试。基础架构云的建立使得统计局日常管理和运维变得简单、资源分配也会非常灵活。从业务层面看,全国统计系统的融合为所有数据能够实时传达、处理提供了很好的先决条件。这也是许剑毅一直强调到的大统一,而落到技术层面,对于IT设备的性能也有着更多的挑战,如何处理众多系统之间的关系、保障系统的稳定性和资源的高利用,国统局的基础架构云会是一个很好的借鉴。

时间: 2024-09-23 09:56:28

云计算虚拟化让实时海量数据处理无忧的相关文章

《Hadoop海量数据处理:技术详解与项目实战》一1.1 Hadoop和云计算

1.1 Hadoop和云计算 Hadoop海量数据处理:技术详解与项目实战 Hadoop从问世之日起,就和云计算有着千丝万缕的联系.本节将在介绍Hadoop的同时,介绍Hadoop和云计算之间的关系,为后面的学习打下基础. 1.1.1 Hadoop的电梯演讲 如果你是一名创业者或者是一名项目经理,那么最好准备一份"电梯演讲".所谓电梯演讲,是对自己产品的简单介绍,通常都是1-2分钟(电梯从1层-30层的时间),以便如果你恰巧和投资人挤上同一部电梯的时候,能够说服他投资你的项目或者产品.

陈磊华:云计算带来海量数据处理挑战

近年来IT行业最热门的关键词是云计算.得益于全球云计算技术的发展趋势和政府的推动影响,国内IT市场在云计算概念提出几年后,终于在今年走向应用,不少实力雄厚的企业开始力推云计算应用平台,华为的云计算战略.用友的祥云工程.金蝶的腾云计划.网易联营公司盈世的iCoremail邮件系统云服务等纷纷踏云而来. 2011推动云计算服务创新发展大会暨政府及大中型企业云计算服务平台建设研讨会于9月3.4日在京召开,有国家.部委.省市政府及大中型企业的信息化负责人出席会议.会议深入探讨了云计算产业发展的服务创新模

基于云计算及数据挖掘技术的海量数据处理研究

基于云计算及数据挖掘技术的海量数据处理研究 王鹏 王健安 郭畅 巴济慈 主要介绍了在HADOOP平台下使用优化的SPRINT 算法进行海量数据处理.首先介绍了传统的数据挖掘算法SPRINT 算法,然后结合云计算中的MapReduce 编程模式对SPRINT 算法进行改进和优化,将并行的SPRINT 算法移植到HADOOP平台下,最后通过实验实现分布式数据处理. 关键词:云计算:数据挖掘:SPRINT :HADOOP:MapReduce 基于云计算及数据挖掘技术的海量数据处理研究

从Hadoop框架与MapReduce模式中谈海量数据处理(含淘宝技术架构)

 文章转载自: http://blog.csdn.net/v_july_v/article/details/670407 从hadoop框架与MapReduce模式中谈海量数据处理 前言     几周前,当我最初听到,以致后来初次接触Hadoop与MapReduce这两个东西,我便稍显兴奋,觉得它们很是神秘,而神秘的东西常能勾起我的兴趣,在看过介绍它们的文章或论文之后,觉得Hadoop是一项富有趣味和挑战性的技术,且它还牵扯到了一个我更加感兴趣的话题:海量数据处理.     由此,最近凡是空闲时

《Hadoop海量数据处理:技术详解与项目实战》一1.2 Hadoop和大数据

1.2 Hadoop和大数据 Hadoop海量数据处理:技术详解与项目实战 在人们对云计算这个词汇耳熟能详之后,大数据这个词汇又在最短时间内进入大众视野.云计算对于普通人来说就像云一样,一直没有机会能够真正感受到,而大数据则更加实际,是确确实实能够改变人们生活的事物.Hadoop从某个方面来说,与大数据结合得更加紧密,它就是为大数据而生的. 1.2.1 大数据的定义 "大数据"(big data),一个看似通俗直白.简单朴实的名词,却无疑成为了时下IT界最炙手可热的名词,在全球引领了新

Informix时间序列数据库解决海量数据处理的应用实例

时间序列函数优越的查询速度远超过关系型数据库.此等函数的应用是成就智能电网的基本手段.Informix 时间序列目前广泛应用于股票交易系统,http://www.aliyun.com/zixun/aggregation/14045.html">网络管理系统,智能电表系统,电信计费系统等多个领域中取得了良好的效果. 1. 概述 Informix 时间序列(Informix TimeSeries)是 Informix 数据库解决海量数据处理的一项重要技术.该技术采用特殊数据存储方式,极大提高了

《Hadoop海量数据处理:技术详解与项目实战》一导读

前 言 Hadoop海量数据处理:技术详解与项目实战 为什么要写这本书 2013年被称为"大数据元年",标志着世界正式进入了大数据时代,而就在这一年,我加入了清华大学苏州汽车研究院大数据处理中心,从事Hadoop的开发.运维和数据挖掘等方面的工作.从出现之日起,Hadoop就深刻地改变了人们处理数据的方式.作为一款开源软件,Hadoop能让所有人享受到大数据红利,让所有人在大数据时代站在了同一起跑线上.Hadoop很好地诠释了什么是"大道至简,衍化至繁",Hadoo

《Hadoop海量数据处理:技术详解与项目实战》一3.1 认识HDFS

3.1 认识HDFS Hadoop海量数据处理:技术详解与项目实战HDFS的设计理念源于非常朴素的思想:当数据集的大小超过单台计算机的存储能力时,就有必要将其进行分区(partition)并存储到若干台单独的计算机上,而管理网络中跨多台计算机存储的文件系统称为分布式文件系统(distribute filesystem).该系统架构于网络之上,势必会引入网络编程的复杂性,因此分布式文件系统比普通文件系统更为复杂,例如,使文件系统能够容忍节点故障且不丢失任何数据,就是一个极大的挑战.通过本章的介绍,

围绕云计算 虚拟化技术又呈现新面貌

本文讲的是围绕云计算 虚拟化技术又呈现新面貌,[IT168 资讯]虚拟化技术的三项基本使命-即作为客户端技术,作为服务器技术和作为网络技术,如今正在围绕云计算理念相结合在一起. 起源于X86服务器的虚拟化技术已经快速扩展到存储和网络领域.如今虚拟化技术的应用范围已经涵盖桌面系统,在处理器,内存和交换机上也都可以看到虚拟化的身影.虚拟化技术正在向硬件和软件应用工具渗透,甚至延伸到了智能手机领域. 高科技咨询公司CIMI的首席执行官汤姆.尼勒将虚拟化的三项基本使命描述为客户端技术,服务器技术和网络技