新疆油田存储“虚拟”整合应用案例

  为了消除数据孤岛,新疆油田通过存储虚拟化技术整合了异构存储平台,实现了数据资源的集中管理。

  新疆油田公司是新疆油田中国西部最大的石油生产企业,隶属于中国石油天然气集团公司,主要从事准噶尔盆地及其外围盆地油气资源的勘探开发、集输、销售等业务。

  新疆油田是新中国成立后开发建设的第一个大油田,原油产量居中国陆上油田第四位、连续25年保持稳定增长,累计产油2亿多吨。2002年原油年产突破1000万吨,成为中国西部第一个千万吨大油田。

  当前,新疆油田的发展目标是数字油田、绿色油田、人文油田,其中数字油田就是实现管理现代化、达到管理系统化、生产自动化、信息网络化、分析智能化。公司领导历来十分重视信息化建设,加大了在信息方面的投入,经过15年信息化持续建设,于2008年12月31日实现了数字新疆油田。

  两个数据孤岛

  自2002年以来,新疆油田的信息化建设取得了长足进展,确立了“急用先建、边建边用、建用结合、以用促进”的工作思路,建立了由决策层、管理层、执行层和支撑层构成信息化管理体系,成功研发了油田数据管理平台、油田空间数字平台、业务流程管理平台等数字油田信息平台。

  2004年,在《油田公司数据中心软件建设规划》指导下,油田公司数据中心软硬件建设取得了长足进展,先后购置了1台容量为6TB的HDS9585数据存储和3台Sun E4900数据库服务器,实现了中心数据库集群,数据处理能力达64个CPU和128GbMEM,公司勘探、开发、经营、管理数据已实现集中管理。

  数据中心的硬件架构为SAN架构,且以数据存储为中心,所有系统都从HDS9585存取数据,服务器自身没有数据存储硬盘。目前,有10台服务器数据存储在HSD9595上,共有近70套应用系统从这些服务器上提取数据。HDS裸存容量为6TB,系统做了RAID和热备后可用容量为4.5TB,存储空间已经分配完毕,没有剩下多余的空间。

  另外,由股份公司组织实施的地球科学与钻井系统(A1系统)和上游生产信息系统(A2系统),由6台套设备组成,总价值超过3000万元。A1A2系统架构也是SAN架构,以EMCCX700数据存储为中心,所有系统皆从EMC CX700存取数据,服务器自身没有数据存储硬盘,目前有15台设备连接到该存储系统上,A1A2系统也从该存储上存储数据。EMC CX700裸存容量为24TB,系统做了RAID和热备后可用容量为16TB,存储空间也已分配完毕,已经没有剩余空间。

  整体而言,目前油田公司数据中心存储设备共4套,除了容量为6TB的HDS9585和容量为24TB的EMC CX700外,还有一套IBM3584自动带库和一套IBM3494自动带库。由于HDS9585和EMC CX700分属不同的存储厂商,因而形成了两个数据孤岛,资源不能互通和有效利用,同时为系统的维护管理、性能优化、故障排查、数据迁移、容灾备份等都带来了不便和困难。

  集中管理“六大原则”

  最近,新疆油田公司收集整理了过去五十年以来的油田生产数据,目前公司拥有78TB海量数据,各类应用系统120套及强大的数据库服务器公司和应用服务器。为了实现油田数据的共享,充分发挥数据在油田各行业的作用,各二级单位数据和应用需要逐渐实现集中管理,需要对现有资源进行整合。

  但是,目前的数据资源呈现两个孤立分散的岛屿,如何通过技术途径把两者整合到一起,形成一个统一的数据资源池,成为新疆油田现实而迫切的考量。

  由于HDS9585和EMC CX700存储设备相互独立,并且各个系统发展不均衡性,导致某些系统建设之初规划了很大的容量和很高的性能,但是实际运行过程中却没有那么大的需要。如中心集群数据库建设之初规划了2TB,但目前只使用了822Gb,未来3年可能使用2TB,A1A2系统中LMK项目环境服务器规划了6TB,未来3年实际可能使用1.5Tb;而另一些应用建设之初却是陷入了容量和性能不足的困境,其他系统有富裕的资源却不能拿来使用,导致HDS9585存储必须升级扩容而EMC CX700存储资源却被闲置的局面,各存储资源不能做到统一规划,协调利用。

  因此,油田公司需要建设一套集中统一的高性能高可靠性的存储平台。新平台必须能够对原有的异构存储环境进行整合,能够将原有的存储设备作为新存储平台的外部存储设备,使新的存储设备和原有的存储设备形成一个统一完整的存储池,由新的存储设备进行统一管理,最大限度发挥原有存储资源的再利用能力。新的平台能够提高原有存储环境的整体运行性能,整个存储环境对各个业务透明,存储平台可以根据各个业务的特性和需要,灵活的分配存储容量、处理能力等各种资源,确保关键业务的稳定可靠运行。同时借助新的存储平台,存储设备能方便扩容,各个存储设备能够方便进行无缝的数据迁移,并且实现集中的存储备份和未来的容灾需要。

  应该说,存储整合为油田公司数据的大规模集中奠定了基础,所以对整合后存储的性能、安全性、容量动态分配等指标提出了很高要求,因此在整合过程中,需要着重考虑以下六大原则。

  平台整合:整合不但要满足数据中心目前和未来开展油田公司数据中心集中存储需要,还要对已有系统的存储环境进行最大限度的整合,实现服务器的集中访问、数据资源的集中存储和处理、存储设备的集中管理和维护。

  高性能:新的存储平台整合了所有的应用之后,必须具备强大的处理能力,能够消除原有存储设备的性能瓶颈。

  可扩充性:在系统设计时应充分考虑可扩充性,从而确保新功能、新业务的增加在原有的系统平台上扩展和实现。

  高可靠性:存储平台具有高可靠性,支持服务器平台的高可用性集群技术;具备先进的容灾的设计;充分保证系统的高扩展能力和高容错能力,具有通道负载自动均衡能力和存储系统性能调节能力,提供极为充分的可靠性各项指标设计。

  高可用性:在尽量不停存储和其它应用系统情况下,实现扩容、维护、升级等服务,提高性能以满足新的业务需求,具备7×24连续工作的能力,系统的可用性应能达到100%,可以实现磁盘数据的在线不停机备份。

  可管理性:要求配置实时性能监测管理软件。可对CPU使用率、内存使用率、交换区使用情况、I/O操作、队列状态、磁盘空间、卷磁盘错误、系统事件、系统中各进程对系统资源占用等性能和操作数据等服务器性能进行实时监控、管理和调配。

  技术先进性:系统设计采用当前先进而成熟的技术,不仅可以满足现实工作的需求,也应把握未来存储整合的发展方向。

  “虚拟化”整合

  基于以上要求,新疆油田采用了HDS的TagmaStore NSC55 网络存储控制器或Universal Storage Platform V(USP V)作为数据中心存储整合的核心设备,同时,配合 HDS的存储管理软件、数据快照镜像软件形成一套完整的存储整合解决方案。由于该存储系统具备嵌入式虚拟化功能,因此可以不依赖于外部交换机、设备或基于主机的软件,支持异构存储。

  项目采用了存储区域网——SAN 架构进行整个存储系统的建设,整个存储网络将分为服务器层、网络交换层和集中存储平台三个层次。

  服务器层:需要对现在油田公司数据中心各个业务系统的服务器进行改造,增加光纤通道主机卡——HBA,使这些主机具有访问存储网络的能力;为保证链路的冗余消除单点故障,每台主机最少配置2块HBA卡;对于那些业务特别繁忙的主机系统可以配置更多的HBA卡和多路经管理软件以实现O/I负载的均衡分配。

  网络交换层:采用Brocade企业级大吞吐量的SAN交换机,保证服务器和外部存储设备到网络存储控制器的高速连接,本期配置32个4GB光纤端口。

  集中存储平台:这是本次存储整合系统建设最核心的部分。在采用HDS TagmaStore USP V网络存储控制器的同时,为其配置1块前后端混合处理板,提供16个4GB的前端主机接口和8个后端磁盘接口,为其配置5GB控制缓存和16GB数据缓存,在其内部配置20块300GB FC磁盘共计6TB裸容量,作为整个集中存储环境的基础。

  对于油田公司数据中心正在使用的HDS 9585和EMC CX700等设备,则通过SAN交换机直接连接到USP V的后端,作为它的外部存储设备,通过HDS UVM通用卷管理软件,可以把外部存储设备的逻辑卷直接映射到USP V上去,由USP V统一管理和使用,而对前端服务器来说所有的工作都是透明的。

  通过USP V的存储整合,整个存储平台提供给服务器访问的是由USP V统一管理的存储空间,存储容量包括6Tb 的USP V内部容量和30TB外部容量(分布在HDS 9585的6TB、EMC CX700的24TB),最大限度的保护了油田公司的投资。而且,未来可以根据各个业务的繁忙程度、数据量增长情况、性能需求等灵活地进行存储资源的再分配,实现数据分级存储和应用优化存储。

  由于采用USP V进行了存储环境的整合,就可以通过USP V对原来异构的存储设备进行集中的数据备份和容灾。现在备份中心用IBM 3494(40TB)作为近线备份设备,用AMS 200作为远程实时数据备份的存储设备,将AMS 200通过油田公司已有的光纤链路直接连接到数据中心的SAN交换机上,并且将 AMS 200 也作为USP V的外部设备来管理和使用。

  也就是说,USP V可无缝地管理高达247 PB的内外部异构存储,包括EMC、IBM、日立数据、HP、Sun等公司提供的高端存储系统和中型存储系统。

时间: 2024-09-16 19:26:06

新疆油田存储“虚拟”整合应用案例的相关文章

新疆石油勘探领域Bladmin存储系统应用案例

  一. 应用单位 新疆油田公司勘探开发研究院地球物理研究所(以下简称新疆石油地物所),位于新疆首府乌鲁木齐,是集石油地震勘探数据处理.资料解释及地质综合研究和计算机软件开发为一体的高科技单位.2006年中油股份公司为改善勘探环境,对新疆油田PC集群地震处理系统进行了扩充.目前该所已拥有1000多个计算节点1900多个CPU的PC集群地震处理系统.56个CPU的SGI Origin 2000并行计算机系统.200多套高性能图形工作站,数据存储系统总容量达到了180TB.多台万兆高效交换机进行互联

浪潮AS8000-M2存储虚拟化整合方案 打造电子政务云引擎

   导语:"互联网+"的趋势下,政府职能加速向服务型转变,电子政务云数据中心是办公事务处理.辅助决策.信息管理和资源共享的政务协同基础平台,需要提供强大的异构兼容性和资源扩展性.浪潮提出以AS8000-M2为核心的虚拟化整合方案,可解决政务信息化发展中存在的数据"孤岛"问题,建立功能全面.技术先进.简单易用的统一数据资源池,以适应电子政务服务的不断调整和变化,加速政府行政管理体制改革和政务流程再造. 由"信息孤岛"到共享互动,如何构建电子政务云

求:精通J2EE-Eclipse Struts Hibernate Spring 整合应用案例,电子完整版

问题描述 兄弟们谁有<精通J2EE-EclipseStrutsHibernateSpring整合应用案例>,电子完整版啊?给小弟发一份吧谢谢!邮箱:wenny288@126.com 解决方案 解决方案二:楼主啊我也想弄一份看看你要是得到的话,转一份给我哈谢谢了!!解决方案三:楼主啊我也想弄一份看看你要是得到的话,转一份给我哈software717@gmail.com不胜感谢解决方案四:我有<轻量级J2EE企业应用实践--hibernate+struts+spring整合>楼主要不要

IBM DS 5300存储硬盘故障数据恢复案例

    北亚数据恢复中心接到IBM DS 5300 存储数据恢复的案例:     IBM DS5300全名(IBM System Storage DS5300)是IBM推出的中端存储系统,它有一个设计合理.功能强大的内部架构,大幅度提升了性能,但某些物理故障或其他操作都可能会对卷或存储造成破坏,因此对系列存储的数据恢复技术才有了用武之地.而发生这些故障之后只能找专业的数据恢复公司做数据挽救工作.作者最近就处理过一起IBM DS5300因磁盘故障导致存储不可用的案例,见下文. 故障描述:    

瞻博网络为新疆油田公司升级办公及业务网络

12月17日消息,瞻博网络近日宣布,中国石油新疆油田公司(以下简称:新疆油田公司)选择瞻博一体化高性能网络解决方案升级其矿区服务事业部各单位的网络,使之成为一个安全可靠的高性能信息化网络平台,以满足办公及业务发展的需要.升级后的网络将有助于矿区服务事业部为石油工作者提供一个更为高效.便捷的工作与生活环境. 新疆油田公司旗下的矿区服务事业部承担着整个油田公司的后勤保障和服务的职能,其所属的二级单位涵盖供热.燃气.物业.广播电视.报社.医院等,各单位都有独立的网络平台,来满足办公和业务发展的需要.但

中石油新疆油田2010年新建产能同比翻番

1月7日,中国最大的石油及天然气生产商中国石油天然气集团公司发布新闻稿称,新疆油田2010年全年累计新建原油产能132.25万吨,与2009年相比增长近一倍. 这表明,新疆油田公司原油产能建设规模基本恢复至国际金融危机前的水平.2009年,受国际金融危机影响,新疆油田公司产能规模被压缩到74万吨. 新疆油田公司去年产能建设主要集中在红003井和莫北2井区等区块.截至2010年12月底,新疆油田新区已完钻新井1201口.投产1073口.新井累计生产原油56.6万吨.作为产能建设的主战场,风城作业区

开放云存储服务及应用案例

开放云存储服务及应用案例        肖伟百度基础架构部架构师 百度云存储的概述,涉及开放云存储.百度经典案例.Ting解决方案.新服务开发案例.数据同步与用户数据分享实现,用户分享推送等内容. temp_11111410258606.pdf

struts2+spring+mybatis整合小案例

最近学习ssm框架,模仿别人做了一个小案例 当然途中也遇到了蛮多的问题.借此机会.记录一下自己的过程 struts2+spring+mybatis的整合过程 1.说明: 个人采用的是deepin操作系统(深度linux)+Intellij Idea(相对与myeclipse我还是更喜欢idea 可能因为更智能)+tomcat7. 当然在windows下没什么不同,具体操作过程很相似. 2.案例环境搭建 注:项目结构图 2.1准备工作 - 新建idea项目 - 在web/web-inf下新建cla

消费推荐风潮与DHC的整合营销案例

来自Ogilvy China,上海i-merge/boondoggle公司的主席Jan Van den Bergh最近发表了i-merge与Sinomonitor合作的关于网上品牌和产品推荐现象的在线调查结果,引用了一部分我关注的数据: • 一个消费者平均一个月与8个人就品牌进行交流.其中有17%的消费者每月的品牌交流达到10个人以上. • 女人比男人交流的多,但是男人在交流中更有影响力. • 31%的被采访对象肯定他们的朋友会购买自己推荐的产品. • 26%的被采访对象会说服朋友不要买某品牌的