新疆石油勘探领域Bladmin存储系统应用案例

 

一、 应用单位

新疆油田公司勘探开发研究院地球物理研究所(以下简称新疆石油地物所),位于新疆首府乌鲁木齐,是集石油地震勘探数据处理、资料解释及地质综合研究和计算机软件开发为一体的高科技单位。2006年中油股份公司为改善勘探环境,对新疆油田PC集群地震处理系统进行了扩充。目前该所已拥有1000多个计算节点1900多个CPU的PC集群地震处理系统、56个CPU的SGI Origin 2000并行计算机系统、200多套高性能图形工作站,数据存储系统总容量达到了180TB。多台万兆高效交换机进行互联,使新疆油田公司物探技术水平继续保持在世界领先水平。被称为中国西北地区最具影响力的地震资料处理解释中心。

二、 项目背景

新疆石油地物所肩负的石油勘探地震资料处理工作的主要原理是,通过人工的方式产生地震信号(放炮),然后将地下地质的地震信号,通过地面感应器提取后,利用大型计算机或机群(Cluster)(包括刀片服务器集群和普通服务器集群)通过专业的Paradigm epos 3 .0、 CGG geocluster 4.1等多套处理软件系统和一套完整的叠前时间、深度偏移系统,进行资料的处理工作,形成地下的构造以及成像,从而掌握地下的油气构造,为石油钻井提供更加可靠的勘探数据。针对新疆应用服务器管理方面,具体需求主要体现在以下几个方面:

大量勘探地震资料处理系统的快速部署。勘探地震资料处理往往需要使用大量的计算节点并行执行,虽然新疆油田公司地球物理研究所现有地震处理软件可以完成计算任务在这些节点上的自动分发,但与之匹配的操作系统以及相关配置信息的部署工作却依然难以统一、快速的完成,这极大地增加了系统管理人员的负担与启动计算任务所需的准备时间。

计算资源的调度与充分利用。石油地震资料的处理带有鲜明的阶段特征,每一阶段的处理内容、计算规模以及系统要求都截然不同,这些系统层面的差异导致计算资源无法被充分的调度以满足不同任务不同阶段的计算需求,而固定每个节点计算任务的使用模式又无法对计算资源进行充分的利用。

降低管理与维护成本。虽然兼具高性能与高可靠性的SAN或NAS设备已经广泛应用于存储领域,然而PC集群所装备本地磁盘却远远无法达到与之匹配的可用性,磁盘以及磁盘相关的散热装置损坏已成为大规模集群管理与维护的主要负担,而硬件Raid以及全光纤SAN连接的成本也无法被计算集群所接受。

节省能源消耗。供电保障、冷却和总体能源消耗已成为国内外超大型数据中心的主要成本负担与发展瓶颈之一,缩短部署、调度甚至等待的时间,将从最大程度上提升系统单位能耗下的有效计算能力,同时可以尽可能的降低对机房供电保障和冷却系统的负担。

异构系统的支持。目前集群存储系统只支持Linux客户端、很少有支持其他系统客户端。

随着新疆石油地物所计算规模的不断扩大,更有效的快速部署、调度与高可靠性方案将成为充分利用计算资源、降低能耗与维护成本的自然诉求,异构平台的支持、海量存储环境的高可用性,是保障计算环境高效、稳定工作的基础。

三、 解决方案

下图是根据新疆石油地物所目前环境进行针对客户的需求的bladmin存储管理服务器实施图

Bladmin架构的新疆石油地物所网络拓扑图

通过Bladmin网络存储的新型计算环境管理系统,使用低成本的千兆以太网络直接启动计算节点,并且采用IP SAN技术储存服务器中的系统数据。

Bladmin由管理服务器、网络存储设备和计算节点(服务器节点集群包括:刀片服务器集群、塔式服务器集群、机架式服务器集群)等硬件通过高速互联网络连接而成,并在该系统中运行Bladmin系统管理软件。管理服务器和网络存储设备可以共用一台物理机,我们统称为存储管理服务器。

本系统提供集中、可靠、安全、稳定的数据存储功能,并实现大量计算节点的快速部署、角色的动态切换、节点监控等模块功能。

在本系统中:

网络硬盘:网络中的所有存储资源统一存放在存储管理服务器上,形成一个大的虚拟存储池,存储管理服务器将该存储池中的存储空间按需分割成任意大小,供集群计算节点使用。每个空间称为一块“网络硬盘”。服务安装在网络硬盘上,集群计算节点通过网络,可以把网络硬盘映射成为本地硬盘,通过运行硬盘上的服务来满足计算节点的使用需求。

服务(操作系统以及应用软件的组合):存放在相应的网络硬盘上(网络硬盘都集中存放在存储管理服务器上);

计算节点启动后,Bladmin把网络硬盘映射成为计算节点的本地硬盘使用;

存储管理服务器完成整个系统内部运转的监控管理任务,并为其提供统一的存储池。

四、 用户价值

五、 应用效益

新疆石油地物所通过使用bladmin系统,通过按需分配、快速部署、灵活切换调度、时时监控等功能,不仅使新疆石油地物所的计算作业成功率提高了一倍,而且在管理和维护方面真正起到了快捷方便的功效。对人员来说,减短了大量的工作任务;对长期使用的节点来说,本地硬盘的节省间接的提高了计算节点的寿命,节省了损坏造成的成本控制;对提高工作效率来说,充分体现了省时省力;对资源的分配上,使各个节点的使用率大幅度提升;对快速转换来说,部署功能快捷、方便、按需分配体现的淋漓尽致。

 

来源:51CTO

时间: 2024-10-27 13:02:28

新疆石油勘探领域Bladmin存储系统应用案例的相关文章

公关领域最为人称道的案例

这是我写在6月份一期<新营销>杂志上的文章,愿与公关同行共勉,可谓知易行难啊---- ■文/徐雷 泰诺(Tylenol)危机恐怕是公关领域最为人称道的一个化危机为机遇的案例了.如果说这个危机管理案例中有什么值得深思的经验,在我看来应该是:成功的公共关系应该根植于强有力的企业价值观.在消费者对于强生(Johnson & Johnson)生产的药品产生不信任时,强生的管理团队在CEO詹姆斯·伯克 (James Burke)的带领下,并没有完全听从律师们从法律角度的建议,而是从久经考验的企业

新疆油田存储“虚拟”整合应用案例

为了消除数据孤岛,新疆油田通过存储虚拟化技术整合了异构存储平台,实现了数据资源的集中管理. 新疆油田公司是新疆油田中国西部最大的石油生产企业,隶属于中国石油天然气集团公司,主要从事准噶尔盆地及其外围盆地油气资源的勘探开发.集输.销售等业务. 新疆油田是新中国成立后开发建设的第一个大油田,原油产量居中国陆上油田第四位.连续25年保持稳定增长,累计产油2亿多吨.2002年原油年产突破1000万吨,成为中国西部第一个千万吨大油田. 当前,新疆油田的发展目标是数字油田.绿色油田.人文油田,其中数字油田就

日立存储渤海保险存储系统应用案例

2008年3月25日,北京,日立数据系统公司今天宣布与渤海财产保险有限公司(以下简称:渤海保险)签署了关于数据集中存储系统的服务协议.依照协议,日立数据系统公司将为渤海保险专门设计.提供以日立Universal Storage Platform VM(USP VM)为核心的数据存储整体解决方案,以此解决渤海保险各业务部门的紧迫需求:同时为渤海保险的长远的业务发展提供可持续的动力. 日立数据系统公司此次提供的USPVM为核心的存储解决方案是渤海保险技术战略的关键部分.在系统部署过程中,日立USPV

一起谈.NET技术,领域驱动设计案例:Tiny Library:简介

应广大网友的要求,我最近抽空基于ASP.NET MVC + WCF + Entity Framework做了一个案例,该案例以图书馆图书管理.读者借书.还书为业务背景,以领域驱动设计为思想指导,全程采用Microsoft技术进行实践,希望能够给Microsoft技术的狂热者以及领域驱动设计的学者提供实践参考. 本案例选用的业务逻辑非常简单,所以项目取名上我选用了"Tiny Library",在后面一章我将详细介绍这个案例的业务逻辑.模型设计与系统架构. 下载案例 本来打算将项目发布到c

领域驱动设计案例:Tiny Library:简介

应广大网友的要求,我最近抽空基于ASP.NET MVC + WCF + Entity Framework做了一个案例,该案例以图书馆图书管理.读者借书.还书为业务背景,以领域驱动设计为思想指导,全程采用Microsoft技术进行实践,希望能够给Microsoft技术的狂热者以及领域驱动设计的学者提供实践参考. 本案例选用的业务逻辑非常简单,所以项目取名上我选用了"Tiny Library",在后面一章我将详细介绍这个案例的业务逻辑.模型设计与系统架构. 下载案例 本来打算将项目发布到c

新疆安防活力彰显 市场结构多样化

近日,海康威视成功中标乌鲁木齐高新区(新市区)平安城市社会综合治理防控系统PPP项目的消息不仅让大家再次关注到安防PPP项目的发展,同时对新疆安防市场的潜力也看到希望. 新疆安防活力彰显 市场结构多样化 新疆安防市场活力彰显 新疆地处"一路一带"."中巴经济走廊"核心地区,是国家丝绸之路经济带的桥头堡.一直以来下新疆地区发展备受国家重视,总书记多次强调"社会稳定,长治久安"总目标,彰显国家对于新疆安防及发展的重视. 作为我国西部门户,新疆在信息化

大数据在医疗卫生领域的应用:减少成本,改善效果

对医疗数据数字化及数据共享的标准化和倡导,改进并降低数据存储成本,并能够在商业硬件上运行,这些都促成了大数据在医疗行业的应用,并以更低的成本获得更好的医疗卫生服务为目标. 应用 大数据 的动力何在 医疗卫生成本拉动了对以 大数据 为驱动的医疗卫生方面的应用需求.在过去的几十年里,美国的医疗卫生支出已经超过了GDP增量,并且超过了任何一个其他发达国家的医疗支出.据经济合作与发展组织(OECD)称,尽管支出很高,但如果以便利性.平等性.质量.效率以及健康人数为指标的话,美国的医疗卫生系统在了11个国

美国大数据研发关键领域的七个战略

大数据有可能从根本上改善所有美国人的生活.为了从资源丰富的大数据中获得最大的效益,奥巴马政府于2012年3月29日推出了"大数据研究与开发计划".在此基础上,美国又于2016年5月发布了<联邦大数据研究与开发战略计划>(以下简称"计划"),其目标是对联邦机构的大数据相关项目和投资进行指导.该"计划"主要围绕代表大数据研发关键领域的七个战略进行,包括促进人类对科学.医学和安全所有分支的认识;确保美国在研发领域继续发挥领导作用;通过研发来

将讲故事这种方法运用于用户体验(UX)设计领域

摘要: 本文摘自<Storytelling for User Experience>中的第一章. 为什么讲故事? 我们都会讲故事,这是分享信息最自然的方式之一,并且它同人类一样古老.这本书是关于如何以一种全新的方式使 本文摘自<Storytelling for User Experience>中的第一章. 为什么讲故事? 我们都会讲故事,这是分享信息最自然的方式之一,并且它同人类一样古老.这本书是关于如何以一种全新的方式使用一项你拥有的技能:将讲故事这种方法运用于用户体验(UX)设