助力存储能效 细数自动分层存储产品

&">nbsp;

继3PAR、Compellent、BlueArc等先驱厂商后,EMC、IBM与HDS等存储大厂,也在这两年也纷纷跟进推出了自身的自动分层存储技术,再加上过去半年多来的厂商并购行动,目前这领域的厂商已有相当大的变化。

Dell Compellent

自动分层存储技术先驱厂商Compellent已在2010年底为Dell并购,Compellent的Storage Center系列存储设备与Data Progression自动分层存储技术,也都被纳入Dell旗下。

尽管Compellent的Data Progression技术推出至今已超过5年,不过在同类技术中仍居领先地位,拥有最精细的分层精细度与独特功能,也相对较为成熟。

Data Progression是Compellent存储设备核心Storage Center硬件中的一个功能,Storage Center硬件会将磁盘阵列控制器所管理的硬盘,自动依效能区分为三个层级。磁盘底层则会透过动态区块(Dynamic Block)技术,以4,096个512K区块组成的2MB Page Pool为基本存储单位,来组成不同层级的RAID与Volume。

Data Progression可利用底层的动态区块技术,透过metadata来记录每个动态区块的建立/存取/修改时间、存取频率,以及所处的RAID与硬盘层级等信息。使用者建立Volume时,可选择该Volume所将使用的RAID与磁盘层级。若选择让Volume同时使用跨不同能效层级的实体硬盘容量,接下来系统将会定期检视每个区块的存取频率,并视存取频率自动将区块搬移到适当的硬盘层级,借此改善磁盘硬件的使用效率。

使用者可按自身环境,选择以最小的512KB区块为追踪统计与分层迁移单位,也可调整为以较大的2MB或4MB区块为单位(预设值为2MB)。系统执行数据分层迁移操作的周期为24小时,预设的执行时间为晚上7点,操作起始时间与执行窗口(允许迁移操作执行多久时间)可按用户需求调整,但周期不可调整(固定为每24小时1次)。

特别的是,Data Progression不仅能在不同层级磁盘间进行“纵向”数据自动分层,还能在同一层级磁盘间进行“横向”的数据自动分层,如在同样的1.5万转FC硬盘层中,可将存取频率较低的数据从写入速度较快、但单位成本较高的RAID 10组态磁盘区,迁移到写入速度较慢、但单位成本较低的RAID 5上。

更特别的是Data Progression还能利用所谓Fast Track功能,对单一硬盘执行存取最优化--可将较常存取的数据自动迁移到硬盘最外轨上,借以减少搜寻时间。

换言之,Compellent的Data Progression自动分层存储技术,同时涵盖了不同存储设备层、单一存储设备层与单一硬盘等三个层次。

EMC

自2009年以来,EMC已先后推出两代全自动存储分层(Fully Automated Storage Tiering,FAST)技术。

第1代的FAST适用于EMC的CLARiiON、Symmetrix等存储产品系列,不同产品线的FAST功能在设定与执行的细节上略有差异,但基本运作方式是一致的。

以Symmetrix FAST为例,先将不同层级的磁盘装置(SSD、1.5万转硬盘、7,200转硬盘等)共同组成磁盘群组,然后分别设定各层级磁盘装置在每个存储群组中所占的比例上限,以及让FAST执行初始化采样(统计系统存取行为)的时间排程、允许执行数据迁移的时间排程等参数后,接下来当到达管理者设定的时间时,FAST即会自动启动、进行存取行为采样分析与数据迁移操作。

不过FAST 以整个LUN为自动迁移的单位,精细度显然过于粗略,能达到的分层最优化效果有限,执行迁移所耗费的资源也相当大,技术落后其他厂商有相当距离,目前已被第2代FAST取代。

第2代FAST称为FAST VP(VP为Virtual Pool的缩写),EMC宣称FAST VP采用「Sub-LUN」层级的自动迁移技术,即数据的精细度优于LUN,可搭配Symmetrix VMAX与新推出的VNX整合存储产品。

Symmetrix VMAX与VNX的FAST VP采用的精细度有所不同。

Symmetrix FAST VP运作的基本单位是768KB的虚拟池扩展区块(VP extent),一个FAST VP区块包含480个VP区块,约360MB大小。每个FAST VP区块还可进一步分解成48个FAST VP子区块,约7.6MB大小。

Symmetrix FAST VP可视情况使用360MB的FAST VP区块或7.6MB的子区块。相较下,VNX的FAST VP则固定使用1GB大小的区块来管理数据迁移。

FAST VP可提供不同的分层政策,以VNX的FAST VP为例便分为4种:

(1) 自动分层(Auto Tier):预设政策,将数据分散存放到横跨所有层级磁盘的存储池上,后续再依追踪到的数据活跃程度,在不同层级磁盘间自动迁移。

(2) 优先最高分层(Highest available tier):尽可能将数据放到高速层磁盘,以提高效能。

(3) 优先最低分层(Lowest available tier):尽可能将数据放到低速层磁盘,以减少成本。

(4) 无数据迁移(No Data Movement):执行了最初分层设定后,便不再进行数据迁移。

Symmetrix VMAX与VNX的FAST VP运作程序稍有不同。

VNX的FAST VP分为3个阶段:(1)统计收集:在背景持续纪录收集每个区块的存取频率等metadata;(2)分析:每隔1小时便自动为LUN内的数据区块进行存取活跃程度的排序;(3)重新配置:依照分析结果重新配置每个区块的存放位置,可透过排程介面设定自动执行重新配置操作的时间窗口,最密集可设定每天重新配置一次。为避免重新配置的数据迁移动作耗用太多I/O资源,还可设定每次操作允许搬移的数据量。除自动排程外,使用者也能以手动方式随时启动重新配置操作。

Symmetrix VMAX的FAST VP则只分为2个阶段:(1)统计收集与工作负载分析:利用排程自动启动,可透过排程介面设定允许执行统计与分析操作的时间窗口,允许最密集的排程是以日为单位,可选择允许系统24小时全天都在背景执行统计分析,或只在特定时间区段执行统计分析;(2)数据搬移:利用排程自动启动,可选择允许系统24小时都能执行分层搬移操作,以尽快反映存储热点的变化,或只允许在特定时间区段执行排程,以降低对I/O的冲击。Symmetrix VMAX的FAST VP不提供手动执行模式,只能透过排程启动。

EMC的白皮书数据并未明示VMAX的FAST VP允许的最短数据搬移周期为何,按某些Blog的说法,VMAX的FAST VP最短可每10分钟更新一次各区块的存取负载状态,数据搬移操作则会等待2次存取负载状态更新循环,所以最快可在2次存取负载状态更新后便执行数据搬移,换言之,理论上可允许每30分钟就重新分派一次各区块存放位置。

相对的,其他技术大多只允许每24小时执行一次重新分层迁移操作,借由这种特性,VMAX的FAST VP可更快的反映存取状态变化。

先前EMC还曾有一款针对档案层级存取环境提供自动分层存储的产品Celerra FAST,实际上就是EMCFile Management Appliance--1种独立安装部署的自动化归档/迁移应用硬件-的另一种包装,不过随着新一代VNX整合存储产品系列的推出,Celerra FAST也被VNX上的FAST VP取代,只剩下作为独立产品的EMC File Management Appliance,不再冠以Celerra FAST这种容易造成混淆的称呼。

原文出自【比特网】,转载请保留原文链接:http://storage.chinabyte.com/318/12129818_2.shtml

(责任编辑:刘芬)

时间: 2024-09-15 17:39:56

助力存储能效 细数自动分层存储产品的相关文章

存储极客:自动分层存储PK. SSD缓存

   今日,"存储极客"栏目正式上线!在这里,只有一位大咖名叫"存储",它的粉丝我们称为"存储极客"! 存储极客这是一群存储偏执狂 为存储而生,跟存储死磕各具独家秘笈 有观点,有碰撞,有干货 从今日起做客存储极客栏目 与你分享存储里的那点事儿 本期话题:自动分层存储PK. SSD缓存 有人说Tier和Cache这两种技术,有各自适合的场景,但我更倾向于认为它们解决的是同一类问题.在传统单层磁盘阵列的基础上,添加SSD缓存相对容易实现,而自动分层存

云存储自动分层系统部署的解决方案

在以下的模式下,这些系统可以帮助云存储技术为更主流的存储要求提供服务.自动分层系统有很多种,其中影响最小也是最安全的使用方式就是将其作为保存动态数据的缓存.缓存类型的自动分层系统将动态数据从传统机械存储中拷贝到基于高速内存的缓存 (RAM或者闪存固态盘)中.在这种拷贝模式中,自动分层系统被用作一个大型的读取缓存,几乎不保留数据的唯一副本.即使当他们通过缓存入站写入的写入加速器,保留唯一数据副本也仅仅需要几分钟的时间. 云存储系统也分为几种形式.比较常见的一种是作为NAS存储型的"价值层"

云存储自动分层系统的部署及解决方案

自动分层系统(AutomatedTieringSystem,ATS)可以在不同存储层之间迁移数据.如果数据是动态的就会被迁移到靠上的存储层,最终保存在某种固态盘(SSD)中.自动分层系统有很多种,其中影响最小也是最安全的使用方式就是将其作为保存动态数据的缓存. 缓存类型的自动分层系统将动态数据从传统机械存储中拷贝到基于高速内存的缓存(RAM或者闪存固态盘)中.在这种拷贝模式中,自动分层系统被用作一个大型的读取缓存,几乎不保留数据的唯一副本.即使当他们通过缓存入站写入的写入加速器,保留唯一数据副本

细数个人云存储与传统网盘五大差别

中介交易 SEO诊断 淘宝客 云主机 技术大厅 2012年伊始,国内互联网火热的话题莫过于个人云存储.金山快盘.酷盘.盛大EverBox陆续推出了个人云存储产品,希望能趁移动互联网火爆之势迅速积聚用户.目前在各家公布的个人云存储市场用户占有率中,金山快盘以1000万用户数遥遥领先. 不过,颇令厂商头疼的是,现在很多用户虽然使用着个人云存储应用,早已实现"云端漫步",但仍对其概念"云里雾里".如果将个人云存储仅仅当作了一个存储文件的地方,不仅大大降低了云存储网盘的价值

自动分层存储技术流行,你用了吗?

自动分层存储越来越受青睐,Dell.EMC.HP.HDS及IBM等主流存储厂商都在阵列中加入了自动分层软件.作为技术来说,自动分层存储可以在提升存储效率的同时,通过减少昂贵存储设备的使用降低总体成本.这点对用户来说也是最具吸引力的. 随着打印机在公司中的普及使用,打印机服务器备份也提上日程,本月推出的打印机备份技巧受到了存储经理人的普遍关注.微软Hyper-V用户在备份 虚拟服务器时,会考虑到备份整个主机还是备份一个个虚拟机.Hyper-V环境下备份的最佳实践给了读者相关答案.服务器虚拟化环境下

如何理解Lenovo Storage S3200和2200自动分层存储?

Lenovo Storage S3200/2200自动分层存储(ATS)是一种虚拟存储功能,能根据数据访问形式自动将处于一个磁盘类中的数据移动到更合适的磁盘类中:   经常访问的"热门"数据可移动到具体较高性能.较低容量和较高成本的磁盘中.   不经常访问的"冷门"数据可以移动到具有较高容量.较低性能和较低成本的磁盘中.   根据所使用的磁盘类型的不同,每个虚拟磁盘组将自动分配给以下层之一:   性能层-此最高层使用SAS SSD,提供最佳性能.但是成本最高.容量最

细数选择云数据库SQL Azure的六大理由

众所周知,在微软的云计算战略中云操作系统Windows Azure.云数据库SQL Azure起到非常重要的架构作用.其中,Windows Azure主要包括三个部分,一是运营应用的计算服务:二是数据存储服务:三是基于云平台进行管理和动态分配资源的控制器(Fabric Controller).而数据库在整个微软云战略中发挥了重要的作用,特别是云数据库SQL Azure更是如此. 话说,SQL Azure是一个关系型云数据库,它可以在任何时间提供客户数据应用.SQL Azure底层是基于SQL S

拒绝单打独斗!细数云计算十大企业合作

本文讲的是拒绝单打独斗!细数云计算十大企业合作[IT168 专稿]许多公司都在为了围绕着云计算创新和吸收云计算基础架构进行合作.许多大公司进行合作,协同提供云解决方案.无论是Google和VMware还是微软和惠普,都在为了综合云产品结成合作伙伴.至于确定于那家公司合作,这就是解决方案供应商自己的事了. 为了证明在云计算的旅途上,很少有厂商会单枪匹马,在这里我们列出了十个厂商合作的事件以供参考. Google 与Vmware Google致力于将企业自身深入人心.为了达到这一目标,这个搜索巨人,

【行业存储方案】数娱行业存储解决方案

从图片分享到短视频再到音视频直播,面对越来越高的多媒体数据的存储要求,以及超高量并发的请求场景以及多样化的数据处理需要,互联网数娱行业应该如何选择合适的存储架构,在当下的直播和"网红经济"的热点中夺占先机.2016年10月杭州云栖大会,阿里云存储重磅发布数娱存储解决方案,目前官网同期上线.   一.      数娱行业存储需求 1.1 直播转点播:数十万甚至百万路的直播视频如何转录像? 网络直播走进监管时代,直播内容及日志需要要保存60天以满足需要.同时由于业务需要,精彩视频.重要视频