DCS存储操作系统成为浪潮高端存储的“智慧引擎”

  存储操作系统:实现数据“逍遥游”

《逍遥游》是《庄子》一书的第一篇,作者用天马行空的想象描述了一种理想状态:“乘天地之正,驭六气之变,以游无穷”,即顺应天地万物的本性,把握环境的变化,不受任何束缚,自由自在地活动,实现“逍遥”的境界。《逍遥游》很能代表庄子的哲学思想,因其寓哲理于离奇想象,写的奇伟瑰丽而为人称道。

无独有偶,云计算、大数据时代,随着数据量、应用数量和使用者数量的增加,企业存储系统面临着扩容不易、效率不高、管理复杂和可用性差等难题,成为困扰高端存储发展的一道道“绳索”。如何突破限制,将存储操作系统打造为高端存储的“智慧引擎”,统筹管理整个存储系统的软硬件资源,实现数据的“逍遥”流动,发挥出高端存储设备应有功能、性能、可靠性,成为存储厂商技术实力的核心展现。

操作系统大家都很熟悉,是一种特殊的系统软件,它负责管理整个计算机系统的软硬件资源,一个良好的操作系统对计算机至关重要。同理,存储操作系统就是存储系统中负责管理所有存储资源的系统软件,它对于存储设备的可靠性、功能、性能起决定性作用。

很多存储厂商都有自己的存储操作系统,如NetApp的统一存储操作系统Data ONTAP,EMC Symmetrix的存储操作系统Enginuity,华为的虚拟化存储操作系统XVE等。而存储操作系统对存储系统的市场竞争力有很大影响,比如说Data ONTAP在设计之初即采用统一存储的设计理念,通过WAFL融合了文件系统和块设备层,同时在底层RAID技术、快照技术等关键点上具有创新性的设计,使Data ONTAP成为业界最优秀的存储操作系统。NetApp凭借这款先进的存储操作系统快速推出产品,成为存储市场的三强之一。

DCS,打造高端存储核心竞争力

如今,浪潮自研的DCS(Data Control System)存储操作系统,是浪潮高端存储的技术基石,存储系统的各种高级软件功能都运行在DCS存储操作系统之上;今后DCS将进一步迁移到浪潮全系列的存储系统上。如下是DCS存储操作系统的架构图。

DCS存储操作系统示意图

在常规软件层,DCS存储操作系统是存储系统配置管理、远程复制、快照、克隆、服务质量管理、监控与告警、存储虚拟化等软件子系统的平台,为高端存储提供丰富的增值功能。

在DCS操作系统层,DCS具备统一存储资源管理、多协议主机接口、全局高速共享缓存、智能存储资源池、高速互联通信、全局资源调度等功能。

而在存储硬件层,DCS可以兼容多种平台。

整体上DCS实现了真正的虚拟化设计,重点在稳定性、实时性、可靠性、管理部署等方面进行了优化,打造浪潮高端存储的四大核心竞争力。

No.1实时响应,业务效率提升

存储系统的实时性是关键,计算服务器发送过来的IO数据必须及时得到处理,否则将造成IO超时,进而影响前端计算业务。因此,对于存储系统来说,存储操作系统的实时性必须得到有效的保障。针对存储系统的特点,DCS操作系统在线程调度方面做了特殊的优化,保证任务运行的实时性。

在优化线程调度算法时,DCS存储操作系统特别针对多处理器进行了相关优化。主要考虑到存储系统性能更多的还是需要硬件的支持,因此2路或者4路控制器上的线程调度优化显得尤为必要。多处理器实时任务调度研究主要包含三个方面的问题:实时任务的分派策略、调度算法和可调度性判定边界。这三个方面都会对系统的实时性和性能产生明显的影响,因此DCS存储操作系统对其分别进行了优化。

No.2安如磐石,捍卫数据资产

可靠性是存储的基石,只有稳定可靠的存储才能为用户持续的提供服务,保证用户数据的安全。DCS存储操作系统在可靠性方面做了诸多优化和改进,具体包括磁盘系统的优化、RAID系统的优化和缓存系统的优化等等。从多个方面保证存储操作系统本身的可靠性,进而为存储系统提供了可靠的保障。

磁盘子系统方面,DCS采用多个层次增加磁盘子系统的可靠性。首先,针对存储系统后端链路的不可靠性,采用链路故障判定算法。该算法可以有效的处理后端链路的闪断问题,保证对后端磁盘阵列访问的连续性。其次,针对磁盘坏块/坏道问题,采用跳跃磁盘扫描和修复算法。该算法通过对磁盘特定区域进行测试验证,将损坏的磁盘通过校验码进行恢复,并重映射到磁盘的其它区域。同时本算法可以根据磁盘的负载情况动态调整扫描的频度。再次,针对磁盘寿命问题,采用磁盘智能替换算法。该算法通过统计磁盘坏块数量和使用时间等参数决定是否替换磁盘,当满足要求时,该算法将在不影响前端业务的情况下将旧磁盘的数据迁移到新的磁盘上,实现磁盘的替换。

No.3全局加速,数据自动迁移

为了提供高性能的存储系统,DCS存储操作系统在两个方面进行了高性能相关设计,分别是高性能存储池和高性能缓存。高性能存储池可以将数百块硬盘整合成为一个容错的大存储池,再提供给上层使用。高性能缓存提供大容量的缓存系统,降低访问后端存储的概率,从而提高计算节点访问存储的性能。

存储池层将磁盘数据分块,按指定单条带成员盘(块)数、负载均衡、离散分布原则进行组织,可灵活更改条带块。当单个盘失效时,存储池层可以智能计算热备块在池中的分布,使用多块成员盘进行重构,避免传统单盘写入性能瓶颈造成RAID重构时间过长带来的数据可靠性风险。在可靠分布式RAID基础上,将数据进一步分块虚拟化,形成逻辑卷,使用分布式和多副本元数据组织。同时,存储池层还实现了分级混合存储,可以构建基于SSD和普通机械硬盘的混合存储池,通过SSD硬盘实现更高性能的存储池。

高性能缓存通过全局共享缓存实现,采用全局共享缓存的方式可以实现缓存空间的共享,从而提高缓存命中率,提升计算节点访问存储的性能。

No.4智慧管理,释放存储潜力

传统的存储系统中,当计算节点需要一部分存储空间的时候,往往是预先从后端存储系统中划分出一部分足够大的空间。这个空间往往不是被马上用掉,而是需要一个月甚至是更长时间才能用到的空间;但由于这部分存储空间已经被预留了出来,其它计算节点将无法利用这些已经部署但闲置的存储容量。这种情况下,尤其是有多个计算节点连接统一存储的情况下,就会预分配很多空间,进而造成存储空间的极大浪费。

在DCS存储操作系统的存储池层,采用一种基于自动精简配置的资源分配算法。在初始阶段,计算系统会感知到一个与传统存储相同的存储空间,但该空间为虚拟空间,并不占用实际的存储资源;存储资源不是即刻被分配给计算节点,而是根据实际使用量逐步分配,从而实现空间的高效利用。

不滞于物,以游无穷

一言以蔽之,存储系统,尤其是高端存储,往往服务于大型企业的核心业务系统,如何保证关键数据不丢失、全年业务不中断,是高端存储的终极使命,对企业生存和发展至关重要;DCS可以集数据管理功能、可用性和出色效能表现与一体,帮助客户提高存储架构效率,实现高效的访问数据和不受限制的发展业务,实现数据“随需而用、不滞于物”的逍遥境界。

如今,浪潮存储发展迅猛,H1市场增长149.3%,DCS已在高端存储系统上规模化应用。在DCS等核心技术的支持下,如同Data ONTAP推动NetApp成为全球领先的存储厂商那样,浪潮将在高端存储市场有所建树。

作者:佚名

来源:51CTO

时间: 2024-08-03 14:45:23

DCS存储操作系统成为浪潮高端存储的“智慧引擎”的相关文章

不可不看!即将发布的浪潮高端存储

   5月第一周,在强手如林的高端存储市场,浪潮高端存储新品AS18000高调发布,成为承载浪潮"计算+"战略下关键业务的核心产品. 传统高端存储市场,面对产业互联网的风口,将有怎样的转型需求?浪潮高端存储AS18000在技术上又有何过人之处,来主动适应这种需求? 在浪潮"计算+"的战略下,AS18000如何联合浪潮关键业务主机,在金融.电信.政府.交通等行业取得突破进而规模化推广? 这里先大胆猜测一下,预知详情,明天发布会见. "互联网+"的风

浪潮高端存储等多款产品中标六安市权力清单平台建设

    日前,浪潮高端存储.云产品.Smartrack.小型机合力出击,中标六安市政府权力清单平台项目.浪潮存储AS8000虚拟化网关.AS1000系列承载数据中心核心存储,运行全市48家直属单位受理的权力事项,为六安市政府打造标准统一.资源共享.业务协同的政府权力清单运行平台,带来全省首个样板工程. 平台涵盖市政府组成部门.直属机构等多个行使行政权力的相关单位,清理事项包括行政审批.处罚.奖励.规划等共10大类.浪潮存储解决方案在原有平台硬件品牌众多.型号繁杂的环境下,为前端业务配置高可用.高

如何实现多控缓存一致性?看浪潮高端存储的

高端IT系统的缓存管理一直是个极具挑战性的课题,从计算领域到存储领域,该问题普遍存在. 比如,多核心多CPU体系中的分布式L1/2/3缓存的一致性管理,而随着从SMP到NUMA的演进,NUMA架构下的分布式缓存管理更是增加了CPU内硬件的复杂度.在存储领域,全对称多活多控制器存储系统从一开始便普遍使用集中式的数据缓存来保证缓存一致性. 本文中,笔者对几种多控高端存储下的缓存一致性管理.缓存镜像管理等方面做简要分析,并以浪潮AS18000高端存储系统为例来实际分析. 1. 多控高端存储系统的缓存管

聚焦“关键业务+” 浪潮发布高端存储AS18000

   今天下午,浪潮在京举办"智汇数据,业务再造"浪潮高端存储AS18000发布会,聚焦"关键业务+",发布高端存储新品AS18000,为企业核心业务提供高可靠.高性能和高扩展的数据服. 智汇数据,业务再造"浪潮高端存储AS18000发布会 浪潮AS18000基于新一代全共享交换架构iMatrix,可承载传统关键业务和云.大数据环境的新型关键业务,提供16个控制器扩展.99.99999%的可靠性.600万IOPS的性能和小于1ms的时延,领跑高端存储市场:

助力合作伙伴引领“互联网+”变革 浪潮预发布高端存储

   2015年4月24日,浪潮在2015合作伙伴大会的存储分论坛上,向数百位参会嘉宾预发布了业界首款面向"互联网+"关键业务数据的高端存储系统,携手合作伙伴为客户应对"互联网+"与传统行业融合所带来的IT敏捷性.高可用和智能化管理的挑战,打造"互联网+"关键业务的核心数据平台. 近年来,浪潮渠道增长迅猛,渠道规模已达到6800家,全国方案百强有80家与浪潮展开业务合作.其中,IBM某全国总代以及750家IBM金牌.银牌和CFT渠道已经与浪潮建立

浪潮首发面向企业云的高端存储AS18000-E

   背景:8月26日,在2015浪潮存储合作伙伴大会上,浪潮提出"活性+"存储理念,并以"替代.扩展.创新"三大市场策略和相关产品作为支撑.AS18000-E正是这次会上发布的存储新品之一,它面向企业云而设计,具有高可靠.高性能和高扩展的"三高"优势,助力企业部署云环境下的关键数据平台. AS18000-E "互联网+"驱动企业业务向公有.私有或混合云转型,这种"业务上云"的趋势已经对当前IT组织选择解决

高端存储千呼万唤 曙光发布DS900磁盘阵列

放眼存储界,在高端存储二十多年的发展中,硬件基础作为其重要核心始终备受关注,即使在云存储和大数据宏观构建的软件定义时代下,硬件的作用也不容小视.近期,硬件复兴的提议迎来一片呐喊,国产存储振臂高呼--我们需要高端. 从http://www.aliyun.com/zixun/aggregation/10241.html">市场需求看,数据中心使用日益复杂的业务应用程序组合来推动运营, 并为客户提供高质量的产品和服务已经成为一种趋势.为确保这些流程能够以最高的性能正常运行,同时灵活地适应新技术,

华为OceanStor高端存储:周年大考,成绩斐然

在今天召开的2013云计算大会 "华为高端存储论坛"上,华为与来自客户.咨询机构等的专家对华为高端存储上市一周年的表现进行了深入的解读和分享.市场表现:快速突破,全面布局;精彩亮相,好评如潮华为IT解决方案销售部部长魏武先生透露,截止2013年8月底,华为高端存储已经突破运营商.公安.金融.税务.电力.大企业.狭义政府.社保.医疗.交通.石油等20余个重点行业,累计销售超过70套;客户名单中,国家人力资源与社会保障部.中石化.中国电信.中国移动.中国联通.南方电网科研院.湖南省地税局.

高端存储十面埋伏 华为全闪存系列亮剑出击

   众所周知,高端存储的用户主要集中在能源.金融.政府等少数特定行业.虽然有着较高的研发门槛和较少的客户群体,但没有一家存储厂商不愿意到这里分一杯羹.高额的利润是一方面,重要的还是品牌效应,能进入高端领域的厂商,代表着其具有很强的实力,可以很自豪的向市场证明,自己已经掌握了存储中最难的技术. 如果仅说中低端存储解决方案,很多厂商都可以做,并且做的很好.但在大型的解决方案中,就剩下少数的存储厂商可以承担了.由于国内存储领域起步较晚,在高端领域更多看到的还是EMC.IBM.NetApp.HDS等几