客户需求:
近日,浪潮存储发布的云计算架构下基础存储模块—AS3000海量存储系统成功应用于山东信息通信技术研究院动漫渲染集群系统建设,为客户信息化建设构建了坚实的信息化硬件平台,满足了客户整合高端应用、保障海量数据稳定运行的苛刻需求。在该项目中,由浪潮海量存储AS3000打造的海量存储方案是目前最大的渲染集群系统方案之一,它开创了海量存储高端应用的先河。
随着动漫制作行业在国内的不断兴起,“渲染农场”开始在业内广泛流行。所谓的渲染农场其实就是渲染集群,它将海量的渲染任务分割成多个任务,再提交给网络上其他的服务器来渲染,最终将渲染后的数据集中存储到一个指定的存储目录里,再由制作人员调用。然而,在一个标准的渲染硬件平台中,渲染服务器与存储系统间的带宽往往会成为渲染性能的瓶颈。
山东信息通信技术研究院是山东省人民政府在国家信息通信国际创新园组建的科研机构,承担研究院科研设施建设、维护、运营和管理等工作;协调科技资源,实现资源最有效的整合是其主要职责。在本项目应用中,如何选用高效能的存储系统,满足客户的高带宽需求,满足众多渲染客户端提交的数据存储请求,尽可能的缩减渲染的时间,是山东信息通信技术研究院急需解决的问题。
项目方案:
首先,浪潮存储工程师深入分析了用户前期已搭建的一套动漫渲染集群方案,了解到当时系统存在的一系列问题:兼容性差、无法扩容等。然后分析得出,用户需选用高性能渲染集群方案,要采用先进的存储架构方式对现有系统进行改进,改进后的存储系统应可兼容原有存储设备,且改进后的系统应可满足大规模渲染、特效编辑等对数据存储的高带宽要求。最终选用了浪潮最新的云存储、高性能集群架构存储产品AS3000对存储系统进行整体升级改造。如下图所示:
本方案配置一套8节点AS3000系统,选用一台高性能的全光纤架构磁盘阵列,将客户原有浪潮AS1000G2存储也作为AS3000的后端存储节点使用。AS3000为全模块化的结构设计,支持对数据节点机存储节点的在线升级,可轻松实现模块的按需扩展。
在本次项目方案中,通过采用浪潮AS3000海量存储系统,用户数据直接通过存储控制节点调度,由数据节点将数据并发写入到后端存储节点。数据存储机制采用单文件通过一个数据节点存储到后端的LUN中,同时发生的任务由控制节点统一调度由未执行任务的数据节点存入到对应的LUN中,从而实现多数据节点的并发读写,提升系统整体性能。整个方案采用全冗余设计,不存在单点故障问题,充分保障了客户数据安全;通过万兆网络提供高性能的工作支撑平台,满足动漫渲染、高清非线编等动漫制作工作,并为今后前端增加任务提供扩展能力。通过AS3000解决了并发大数据读写负载均衡问题,有效提高系统计算能力,并为今后系统性能扩展提供支持。另外,AS3000万兆主机接口配置可对外提供高带宽,支撑高IOPS;云存储统一存储池提供无限量的扩展能力,满足客户需求。
方案特点:
一、系统可用性和高可靠性设计:
集群系统所有节点均处于工作状态,任务被平均的分配到各个节点上;当一台节点发生故障,任务被自动平滑的分配到其他节点上。
系统从硬件和软件两个方面进行高可用设计,从而保证系统全年7*24小时无间断运行,关键数据不丢失。
二、系统可扩展性:
系统支持纵向和横向的扩展。所谓纵向,是指系统容量扩扩展至PB级别甚至更高。所谓横向,是指增加设备数量,例如数据节点采用4个,后期可以扩展到6个、8个,扩展方式更加灵活。该方案主要表现在两个方面:系统存储容量可扩展;系统IO带宽可扩展
三、系统易维护性和易用性:
AS3000的控制界面采用了友好的全中文Web显示方式;管理员不需经过长期专业培训,仅几个小时就可以熟练掌握AS3000的操作流程;提供对存储系统状态监控、事件管理、存储系统故障Email报警机制。
在整个项目激烈的竞争中,浪潮新一代海量AS3000存储系统通过优异的技术性能最终得到了客户充分的认可和信任,脱颖而出成为胜利者,构建了以浪潮海量存储AS3000为核心的动漫渲染集群方案,满足了客户大规模渲染、特效编辑等对数据存储的高带宽要求。
AS3000海量存储产品技术剖析:
浪潮海量存储产品AS3000问世以来,虽然有些人觉得他高居云端,本领高强却又神秘莫测,但也有不少质疑和迷惑的声音。其实,在国内高端存储市场上,AS3000首次出现就是与国际一流品牌高端存储产品竞争的举大旗者,这种状态的出现是很正常的。国内高端存储产品市场一直被几家国外厂商所垄断,但是近几年来,浪潮先后牵头成立了海量存储标准委员会和海量存储联盟等在存储产业极具影响力的组织,同时依托国家级的海量存储研发平台,进行了持续技术攻关,逐渐开始打破国外厂商的垄断。
AS3000海量存储系统采用集群架构设计,可选infiniband或者万兆主机接口、高效的内部光纤交换网络和统一的大容量PB级存储空间,可以看出,整体设计不存在任何性能瓶颈,可以充分满足存储系统性能的横向及纵向平滑扩展。另外,浪潮AS3000采用控制节点和数据节点分离的主机架构,单台两个控制节点和两个数据节点,控制节点带外对数据存储进行控制管理,不占用数据I/O性能资源,数据节点通过高效的内部光线网络将数据存储于后端存储池,完美的将前后性能匹配,为满足高并发访问提供了硬件支持,使整个系统硬件平台趋于性能的极致。后端存储池支持多种硬盘的扩容,可以根据自身性能和成本需求,采用SSD,SAS,SATA。充分满足了客户动漫集群数据存储平台对后期扩容的需求。
浪潮海量存储AS3000在航空航天、气象、高性能计算、大型网络游戏中心、电视媒体编辑和动画制作、证券和银行等行业,都有着广阔的应用市场。本次高端海量存储AS3000的成功应用,标志着浪潮存储迈出了跨越性发展的第一步,作为国产存储品牌的领头羊,浪潮存储将会一直把最先进的技术和最好的服务带给广大用户,助力更多行业客户实现信息化建设的稳步发展。