NetApp某油田数据存储解决方案

一.行业背景及用户需求分析

地学数据存储系统,既有常规数据中心中存储设备共有特性,又有其独特的地方。分析处理、解释、油藏等地学应用不难发现,除了高度可靠性、高性能、灵活方便的在线扩容等要求外,还有如下的典型特征:

·完整的地学IT架构,应该面向多种地学应用系统,以较好的满足他们不同的需求。对处理系统来说,传统上服务器大都是SMP并行机系统,对MFLOPS有着严格的要求,对用户来说可能正在使用IBM SP系列服务器;也可能SGI ORIGIN高端服务器正在担任着繁重的处理任务;出于性价比的考虑,越来越多的用户开始转向采用PC LINUX集群来提供强大的CPU处理能力,所以不同时代的处理服务器,应该能够共享地震工区数据,尽量减少数据传输甚至是格式转换这一繁重的工作。

·今后随着新解释工具(5X),预存储数据解释工具(5X),慢速(4D)地震(3X)以及剪切波数据的运用,数据量将会以惊人的225倍(5´5´3´3)的高速度增长,因此存储系统应完全满足未来应用对容量的要求,同时具备在线增容的能力。

·对地震道解释系统来说,高级的解释系统大都采用高端SGI工作站来满足图形方面的苛刻要求,而普通解释工作则可以在HP、SUN、IBM的工作站上进行,单工区解释可能会有多个技术人员参与,因此存储设备应该具备异构平台、多用户数据共享的能力。

·随着现场处理技术和WINTEL技术的发展,无论是处理还是解释等其他的应用都开始支持UNIX和WINDOWS两种版本,因此同时支持CIFS协议和NFS协议成为存储设备数据共享不可或缺的指标。

·对三维地震数据来说,无论是处理解释,还是虚拟现实应用系统,都面临一次性加载大数据体的工作,加上应用系统的中间结果,大容量文件系统和大尺寸单个文件的存储设备是高效完成生产任务的可靠保证。

·处理解释一体化IT架构,减少迭后数据传输量,密切处理解释人员的合作,优化整个地震数据的处理流程,提高生产效率,最大化地震数据的利用率。

·有效的磁盘到磁盘处理,缩短生产周期,提升竞争力。

正是基于上述考虑,针对标书要求,我们提出如下解决方案。

二.地学数据存储系统解决方案

1.方案设计原则

——充分满足标书对存储设备性能、功能的要求。

——选用业界领先的技术和产品,保证方案的先进性;充分考虑与原有设备的兼容性和互操作能力,最大程度保护用户投资。

——与地学应用系统的成熟结合能力。

——存储系统设计完全基于现有计算机和网络设备业界的开放标准,适应用户现有网络系统硬件环境要求。

——数据的安全性和系统的高可靠性,存储系统负责存储整个中心的数据,是典型的关键业务,是不能停止的,对系统的高可靠性有着较高的要求。作为该系统核心的存储平台的高可靠性则更是重中之重。由于采用了集中存储的方案,所有的相关数据均集中存储于统一的平台之上,存储平台的任何故障会造成大的影响。因此存储平台的数据安全性和系统高可靠性尤为重要。

——系统的高性能,存储系统要为大量的用户存储数据。由于总的数据量会达到TB级,如何在这么大数据量情况下满足多个客户机的并发访问,整个存储系统的性能也是一个非常关键的要求。而且考虑到将来业务的增长,数据量还会持续增加,客户机的数量也会继续增加,系统的性能还应能很好的适应未来的扩充和扩展的需要。

——系统的可扩展性/可扩充性,作为集中存储的基本要求,存储系统应能支持巨大的存储容量,可以集中存储不同平台的企业数据,从而在保留分布式处理好处的同时实现核心信息的

——集中存储和集中管理,随着时间的推移、技术的发展以及环境的变化,用户的数据量会飞速增长,许多新的用户或新的需求会不断产生,因此对存储系统的可扩展性有很高要求。尽管我们在本方案中已经充分考虑了系统存储容量空间的预留,但随着业务的发展,对存储系统的可扩展性要求仍将非常迫切。这主要表现在对存储系统容量的平滑扩充以及对新的主机(HOST)系统的平滑连接,以尽量减少对已有正常业务的影响。

——数据共享及系统的多平台支持能力,作为集中存储的基本要求,存储系统必须能够同时连接不同的平台,以满足未来数据集中、共享的需要。

——灵活性和系统管理的简单性,由于存储系统的数据量非常大,如何有效的管理大量的数据,包括数据备份/恢复,都对存储系统的管理提出了巨大的挑战。系统管理人员需要有高效的方法实现全面的存储系统监控,包括实时数据性能监视、错误监测、错误状态识别等等。另外作为集中的存储平台,由于前端需要连接的服务器数量很多,如何在多个服务器平台之间对容量进行灵活的划分和调度也是为存储系统的管理提出了巨大的挑战。

——从标书整体要求出发,充分考虑用户对备份系统的要求,利用成熟可靠的Lan Free 备份技术,实现大数据量的高速备份,减轻系统管理人员的负担,保证处理员和解释员即使在备份时也能正常工作。

2.方案拓扑结构

为了充分满足标书要求,我们选择NetApp FAS920c作为集中的存储设备。如下图所示:

时间: 2024-07-30 12:50:31

NetApp某油田数据存储解决方案的相关文章

华为与英特尔构建全融合大数据存储解决方案

IDC预测,全球数据总量将在2020年达到40ZB.40ZB的数据量是什么概念呢? IDC给出了一个比喻:如果把一粒沙子当做一个字的话,40ZB的数据量相当于地球上所有海滩上沙子数量的57倍;40ZB的数据量相当于667千亿部高清影片,一个人每天24小时连续不断地看,看完这些电影需要5万6千亿年;目前我们对地球年龄的估值是45.5亿年,意味着,如果这个人从地球诞生的时候就开始看电影,现在他只看完了这些电影总数的万分之八(0.0008).而这些数据,每两年还将翻一番,呈指数级增长态势.大数据将以一

5大开源数据存储解决方案推荐

文章讲的是5大开源数据存储解决方案推荐,用于存储大数据的解决方案是当今面临的巨大技术挑战.当然,有很多不同的选择,如RDBMS,NoSQL,时间序列数据库等,本文分析了五个数据存储解决方案,这些方案是为不同目的而创建的,但所有方案都可用于保存基于时间的日志. 数据存储仅将事件保存到数据库是不够的,每个数据存储库都必须有一个接口以实时搜索,并具有良好的性能,每天至少能够存储40GB的数据,总数据大小至少约为20TB,搜索日志消息应该实时完成,搜索查询的响应时间小于10秒. 1.ClickHouse

从块数据到大数据,解读紫光西部数据的存储解决方案

 在互联网+时代背景下,数据正在以超出人们想象的速度爆炸式增长,数据价值成为影响企业发展的重要因素.面对随时增长的海量数据,企业如何摆脱存储困境,并实时挖掘数据价值,成为摆在企业面前的重要难题.紫光西部数据在中国市场推出的"从快数据到大数据"全方位数据存储解决方案,很好的解决了企业面临的数据存储难题. 2017年3月22日,紫光西部数据在京召开了主题为"极智创想,数据未来"为主题的紫光西部数据高峰论坛暨新品发布盛典,正式推出了包括UniverFlash全供应闪存系统

应用解析:大数据存储服务选择最佳做法

磁盘存储就像是衣橱,永远不够用,在大数据时代,这一点尤为突出."大数据"意味着需要比传统存储平台处理更多的数据.那么这对于CIO意味着什么呢?意味着他们将需要做出更多的努力,而可供参考的信息却很少. 不过,在为大数据选择存储服务时也并不是完全无迹可寻. 何谓大数据 首先,我们需要清楚大数据与其他类型数据的区别以及与之相关的技术(主要是分析应用程序).大数据本身意味着非常多需要使用标准存储技术来处理的数据.大数据可能由TB级(或者甚至PB级)信息组成,既包括结构化数据(数据库.日志.SQ

从快数据到大数据 紫光西部数据的数据存储之道

ZD至顶网服务器频道 03月28日 新闻消息(文/李祥敬):毋庸置疑,我们处于一个数据爆炸的年代,或者我们称之为数据经济.数据早已经渗透到各行各业,成为重要的生产要素.当我们在享受数据经济给我们带来的好处的同时,数据挑战也随之而来. 在紫光西部数据首席执行官缪刚看来,应对数据挑战,需要我们通过从快数据到大数据的数据极化视角来看清数据本质,实现数据价值. 在"数据极化"的全新视角中,"快数据"是指企业在关键型业务中所需要处理的数据,如实时交易系统数据.在线业务数据.即

英特尔与华为深化大数据存储战略合作

[天极网服务器频道4月3日消息]在2014英特尔信息技术峰会上,华为与英特尔公司共同宣布:双方正式签署存储战略合作备忘录,旨在整合双方资源优势,进一步深化合作,在技术联合.产品研发以及市场营销等多方面加速大数据技术发展.英特尔公司数据中心事业部副总裁兼通信与存储基础设施事业部总经理Rose Schooler.华为IT产品线副总裁黄瑾等出席了本次签约仪式. 根据合作备忘录,双方将结合华为OceanStor 9000为核心的大数据存储解决方案的专业优势与英特尔在大数据.横向可扩展存储和软件定义存储领

NetApp在闪存存储、云和下一代数据中心蓄势待发

NetApp最近几年的销售额和收益一直受到冲击,现在这家公司正在经历一系列业界变革,希望成长为一家更强大的.为云和全闪存数据中心做好准备的公司. 这是NetApp高管向参加了一系列高管简报会的客户传递的信息,包括上周三在圣地亚哥举行的一次会议.NetApp共同创始人.执行副总裁Dave Hitz,新任全球现场和客户运营执行副总裁Henri Richard参加了这次会议. "这个信息在渠道中得到了共鸣,Hitz和Richard所说的与他们向渠道传递的信息完全一致,似乎NetApp自己已经梳理好,今

实时大数据存储及查询分析解决方案

问题描述 实时大数据存储及查询分析解决方案 上千辆设备每隔10秒上传一次数据,我要把数据存储起来,然后在基于这些数据进行查询分析, 担心传统的做法后期会有很大的性能问题,请教有做过这方面的经验的高手共享一下思路. 解决方案 你这种情况就非常适合使用基于Hadoop的HBase来存储数据,HBase不仅仅适合于做大数据的存储和处理,它的一个突出的性能优势就是写数据, 你的系统每隔10s就要写一次数据,Hbase就比较适合,最好不要使用传统的关系型数据库(例如MySql),这会让你的系统在后期出现许

PROMISE发布数据存储及保护解决方案

近日,PROMISE - 全球SAS/SATA RAID数据存储及保护解决方案的领导厂商,今日发表全新SAS/SATA 3Gb外接式http://www.aliyun.com/zixun/aggregation/20901.html">磁盘阵列系统VessRAID 1000s系列与扩展柜VessJBOD 1000系列产品,针对中小企业存储需求.监控应用,提供高效能及最符合经济效益的存储解决方案.首先登场的VessRAID 1740s与1840s是一款3U机架式双通道SAS宽端口接口的外接式