中科院海洋所基于浪潮存储方案化解海量数据存储之忧

 黄海海洋观测研究站和东海海洋科学综合观测浮标站是中国近海海洋观测研究系统建设的重要组成部分,通过位于青岛的陆基数据接收站每十分钟进行一次数据采集,包括气象数据(气温、湿度、气压、风速等)、水文数据(波浪、水温、盐度、海流等)和水质数据(温盐、浊度、叶绿素等),日复一日,年复一年。而这些定点、长期连续海洋观测数据将会被存储下来,为海洋科学研究和地方经济发展提供支撑。

这些海量的数据,存储在中国科学院海洋研究所的数据中心,基于浪潮存储打造的数据中心,为海洋科学研究工作提供了源源不断的科研依据。

黄海海洋观测研究站

需求洞察:海量数据处理,亟待高性能存储系统

中国科学院海洋研究所是国家知识产权局全国专利战略试点单位,建所 60 多年来,重点在蓝色(海洋)农业优质、高效、持续发展的理论基础与关键技术,海洋环境与生态系统动力过程,海洋环流与浅海动力过程,以及大陆边缘地质演化与资源环境效应等领域开展了许多开创性和奠基性工作,取得了 900 多项科研成果,为我国国民经济建设、国家安全和海洋科学技术的发展做出了重大创新性贡献。

海洋科学的研究是一项浩繁的工程,涉及到基础研究和应用探索,需要对大量的信息数据进行高效可靠的处理。因此,海洋信息系统的建设至关重要。中科院海洋所高性能计算中心的高性能集群计算能力达到了10万亿次/秒,为海洋信息的研究提供了便利。

随着海洋科学研究的不断深入,以及全社会对海洋信息需求的不断扩大,海洋信息的需求量和实效性要求也越来越高。为了适应新的形势,中科院海洋所决定建立一个大型海洋信息资料中心,在此基础上建立一个统一的信息存储、处理和发布系统,不仅为所里科研提供信息,还可以为社会提供海洋信息服务。在这种情况下,建立一个既满足大容量数据存储、保护,具有高可靠性,又能保证多主机、多用户、多应用系统并发数据访问性能的存储系统成为系统建设的关键。

浪潮解决方案:1中心+5平台,解决海量存储忧患

结合海洋研究所的需求,浪潮为其提出构建数据中心的解决方案,并得到了认可。基于浪潮存储AS8000的数据中心,即海洋科研数据产品研发和数据收集/分发管理平台,实现了块数据、文件数据的集中存储与管理。后期,来自近海观测网络、海洋开放共享航次、潜标观测以及大量历史调查、分析测试这五大平台的数据将逐渐迁移、存储到该数据中心上,实现统一存储和管理。同时,数据中心还将管理运行近海观测网络陆基站,承担近海观测网络数据的接收、处理和数据产品发布。

浪潮AS8000的性能卓越,每秒读写可以达到50万,即使是海洋研究所极高的并发数量,也可以游刃有余。在扩展性方面,AS8000存储资源池可以无缝的接入新的存储设备,并且随着容量的增加,数据存储性能也将呈现线性增加的趋势,满足其海量存储的需求。

存储安全可靠,数据中心吃上“定心丸”

海洋研究所数据中心数据的安全性备受瞩目。因为定量数据采集工作关系整个研究所的评估评价,数据的准确性、全面性和安全性至关重要。

比如中国科学院的科考船,出海考察带回来的从中国近海到西太平洋的海洋综合观测数据,攸关西太平洋暖池变异对中国气候的影响、临近大洋对中国近海环境的影响、海洋生物多样性和深海环境与生命探测等课题的研究,一旦丢失,损失不可估量。

浪潮AS8000作为浪潮云时代存储产品的先导者,增加了云存储的技术,为海洋研究所数据中心吃上了“定心丸”。AS8000采用全冗余架构,实现零单点故障,在安全性上无可挑剔。

在数据的备份保护上,AS8000也表现出众。基于AS8000的快照、卷复制等功能可以实现海洋研究所数据的本地备份。另外,在发生火灾、地震等自然灾害,本地备份的数据也同样会遭受破坏,同样会对系统造成灾难性后果。浪潮AS8000有别于一般的存储,可提供更高级别的数据保护功能,可以实现基于存储的数据容灾,在异地存放数据副本,即便发生了不可抗力带来的灾难时,也可以快速地恢复数据,保证科研所宝贵的数据资料不丢失,保障海洋科研工作的顺利进行。

此外,在业务连续性方面,海洋研究所原有的大量数据及系统,可在不中断应用的情况下,轻松地转移到新的存储系统中,实现了真正的无缝数据迁移。

客户收益:工作效率提升了,项目周期缩短了

“之前的信息平台数据存储及管理分散,科研部门调取数据非常麻烦;现在数据都将集中存储在数据中心,点点鼠标,数据就出来了,方便了我们的科研人员,工作的效率明显提升了”,海洋科研所数据中心负责人说。

海洋研究所每天都有大量的海洋数据采集并存储,过去分散、粗放的数据存储方式已经成为科研工作高效进行的“绊脚石”。浪潮为其打造的数据平台实现数据的融合、统一管理,使系统平台管理变得更集中、更简单,减少了管理人员的负担;同时服务器、存储和网络的自动化操作也减少了大量潜在的人为错误,保障了系统的可靠性,提升了工作效率。据称,因为存储、调取数据的速度大大提升了,海洋科考项目的周期预计将缩短近30%。这也就意味着,研究所将会腾出更多的时间、更多的精力,做好海洋科研工作,早日达成有国际影响力的海洋科学和技术研究机构的目标。

  

作者:佚名

来源:51CTO

时间: 2025-01-24 15:34:01

中科院海洋所基于浪潮存储方案化解海量数据存储之忧的相关文章

基于校验编码备份的分布存储方案

基于校验编码备份的分布存储方案 陈冬晓,王鹏 传统的云计算存储系统为保障可用性,一般使用镜像冗余备份而产生大量冗余备份数据,影响了存储数据空间的利用效率.针对此情况,为减少备份数据对存储空间的占用,提出一种存储方案.放弃了镜像冗余备份,引入校验编码的方式进行备份,以减少备份数据;同时采用了冲突跳转的机制对备份进行验证,在保证备份数据有效性的前提下减少备份数量.通过模拟程序运行结果与主流云存储方案的对比表明,所提存储方案在保证数据可靠性的同时,显著地降低了分布存储对磁盘空间的占用. 关键词:云存储

基于加密机制的云计算数据可靠存储方案研究

基于加密机制的云计算数据可靠存储方案研究 赵莉  王魁祎 为了克服因收发双方都使用同样钥匙导致的其安全性不高等缺点,引入深度加密机制,与AES(Advanced Encryption Standard)算法耦合,设计了基于双级加密的云计算数据可靠存储方案.先采用AES对用户数据客户端进行对称加密,到达云资源管理器后,采用分布式重组的方法进行深度加密,构造了"初级-深度"双级加密的云计算数据可靠存储结构,并完成了基于加密的云计算数据安全存储加密和解密操作流程.借助Eclipse与Java

移动云计算环境中基于代理的可验证数据存储方案

移动云计算环境中基于代理的可验证数据存储方案 杨健,王剑,汪海航,杨邓奇 现有云计算可验证数据存储协议无法直接应用于终端存储和计算能力有限的移动计算环境.针对该问题,提出移动计算环境下基于代理的可验证云存储协议,在终端和云服务器之间引入一个半可信的安全计算代理,利用代理来帮助移动终端用户完成计算密集的操作,从而使得可验证数据存储方案可用于移动计算环境.提出一个具体的可验证数据存储协议,形式化证明了所提协议满足随机预言机模型下的选择明文攻击(CPA)安全,量化分析结果表明协议设计适用于移动计算环境

基于秘密共享的安全云存储方案

基于秘密共享的安全云存储方案 张璐 徐燕红 张浩 田伟 文章在分析当前网盘应用前景及安全隐患的基础上,提出了一种基于秘密共享的安全云存储方案,运用信息摘要算法.对称加密算法.门限方案以及数据分布式存储等,对用户文件的读写.存储.加密的权限进行分离,保证用户对文件所有的最高权限,从而保障了用户隐私.同时,又降低了各网盘厂商的硬件扩容瓶颈.有利于广泛云平台的建立,具有良好的应用前景. 基于秘密共享的安全云存储方案

一种基于LT码的数据云存储方案

一种基于LT码的数据云存储方案 李力 鄢田云 拜占庭失效或恶意攻击会降低云服务供应商的云存储服务可靠性,为此,提出一种基于云计算的安全可靠数据存储方案.通过LT编码增加分布式云服务器的数据冗余度,在保证性能全局准最优的同时,提升数据用户在数据检索阶段的解码效率.利用支持公共数据完整性检查和准确数据修复,避免数据拥有者长期保持在线状态,并设计数据修复解决方案,使服务运行期间无需产生元数据也能进行数据修复.实验结果表明,与基于网络编码和基于RS码的云存储方案相比,该方案的通信成本只增加了15%,但数

基于混合策略的低成本云存储方案

基于混合策略的低成本云存储方案 李松涛 金欣 为了保证云存储系统数据的高可用性.降低数据存储成本和带宽成本.缩短数据对象的访问时间,提出一种称为缓存大小自适应确定(CAROM)的新方案.CAROM结合传统的基于缓存策略的方法和纠错码方法来提高云文件系统的弹性和效率.另外,为了在缓存大小及其效益间实现平衡,提出一种基于总体成本凸函数特性的自适应方法来实现缓存大小的自适应选择.在基于现实世界文件系统数据的性能评估中,CAROM方案的存储成本和带宽成本分别比复制策略和纠错码策略下降60%和43%,同时

国家广电总局借助领先的存储技术释放海量数据的价值

ZDNet至顶网服务器频道 09月16日 新闻消息:国家广电总局监管中心肩负着对全国电视节目.互联网等信息网络视听节目.新媒体视听节目播出内容以及全国无线广播节目的监听监看的重任,监听监看任务涉及业务系统数目较多,数据量大,数据统一管理困难,如何整合这些业务系统实现数据存储.管理.共享一直都是监管行业的技术难题.如何破局,不仅关系着解决广电总局大数据存储管理的困扰,更将势必会引起广电行业新的技术革命. 如今这一难题已经被浪潮海量存储解决方案化解.广电总局监管中心的海量数据实现了"放得下"

浪潮华为,高端存储市场的双头之争

一年之后,重看互联网+. 尽管,传统行业走进互联网化的速度并没有那么快,但互联网+经过一年的发展,已经让行业用户意识到,利用云计算.大数据.移动互联网络的技术,改变原有的IT架构,成为必然. 并因此,催生了数据应用的广泛提升,比如平安城市海量超高清视频流存储.广电媒资直播4K高清恒定码流.高性能计算应用海量数据快速检索等新业务需求等等.可见,平安城市.媒资.HPC.云计算.大数据.互联网等领域应用,在成为存储行业高速成长的基础. 另一方面,从国内存储的格局看,本土存储厂商正在不断创新.不断进步的

助力合作伙伴引领“互联网+”变革 浪潮预发布高端存储

   2015年4月24日,浪潮在2015合作伙伴大会的存储分论坛上,向数百位参会嘉宾预发布了业界首款面向"互联网+"关键业务数据的高端存储系统,携手合作伙伴为客户应对"互联网+"与传统行业融合所带来的IT敏捷性.高可用和智能化管理的挑战,打造"互联网+"关键业务的核心数据平台. 近年来,浪潮渠道增长迅猛,渠道规模已达到6800家,全国方案百强有80家与浪潮展开业务合作.其中,IBM某全国总代以及750家IBM金牌.银牌和CFT渠道已经与浪潮建立