自动精简配置&重复数据删除核心技术点及其经济效应探究

  在当前日益汹涌的金融危机逐渐影响实体经济的情况下,企业面临存储扩容需求时不得不精打细算,为了降低最终拥有成本(TOC),除了减少初次采购成本,也希望尽可能减少企业今后的运营维护成本。重复数据删除技术作为时下最热门的存储优化技术,能显著降低存储设备物理介质消耗,并减少数据中心对空调,空间,和灾备的消耗,还可以与本文涉及的自动精简技术无缝配合,极大降低存储系统的维护管理成本,显著提高企业存储系统的利用率,实为抵御当前经济危机的又一利器。

  首先介绍存储系统的自动精简配置(Thin Provisioning)技术。自动精简配置技术扩展了存储管理功能,虽然实际分配的物理容量小,但可以为操作系统提供超大容量的虚拟存储空间。随着应用写入的数据越来越多,实际存储空间也可以及时扩展,而无须手动扩展。换句话说,自动精简配置提供的是“运行时空间”,可以显著减少已分配但是未使用的存储空间。

  如下左图所示为使用传统配置方式创建了3个卷。整个存储系统有2TB的可用存储空间。卷1的大小是500GB,其中有100GB实际数据,另外400GB是已经分配但是未使用的空间。卷2的大小是800GB,其中200GB实际数据,另外600GB为已分配但未使用的空间。卷3的大小是550GB,其中50GB实际数据,另外500GB为已分配但未使用的空间。整个存储系统有350GB的实际数据,1.5TB已分配但未使用的空间,并最后剩下150GB可用空间给其他应用。

  同样的2TB存储系统采用自动精简配置技术之后,结果较传统方法有显著差异。系统管理员同样创建这3个卷,使用自动精简配置之后,由于存储空间是在数据写入过程中动态申请分配的,因此就不存在已分配但未使用的空间。所以采用自动精简配置之后整个存储系统里同样有350GB数据,但有1.65TB可用空间。相对于使用传统配置方式时的150GB,采用自动精简配置使得可用空间增加了11倍!

  

  由此可以看出,采用自动精简配置可以把存储空间的利用率提高到近乎100%。

  另外自动精简配置不仅可以提高存储空间的利用率,降低IT人员进行存储管理的复杂度,还可以极大减少存储系统扩容的规模,增加现有存储系统支持的应用服务器的数量。

  

  以下对自动精简配置的优点进行简单的总结:

  l 用户可以创建更多的卷,单个卷的空间可以更大,并可以动态地管理各个卷的大小。

  l 用户可以在初次购买更少的存储介质,并在随后按需增加磁盘容量。

  l 在创建卷时不需要进行深入的容量规划,减少IT管理人员存储配置的工作量,避免预估不当造成的存储空间浪费。或者存储空间不够导致后续中断业务以进行扩容升级。

  l 存储介质的空间利用率显著提高,相应地在同样的存储空间下可以支持更多的应用服务器,提升存储系统的利用率。

  存储介质的空间利用率显著提高,相应地在同样的存储空间下可以支持更多的应用服务器,提升存储系统的利用率。

  重复数据删除(De-duplication)技术,主要是对存储数据流以一定的目标尺寸进行指纹校验,对于其中重复出现的数据单元,在实际写入存储介质时,只需记录相应的指纹记录位置即可,因此可以极大降低存储介质消耗。“去重率”这个参数就是用来定义重复数据删除中的优化率,它等于原数据大小除以去重之后的数据大小,实际去重率随去重模块部署在存储系统的位置以及数据的重复率有较大差异。对于次级备份数据,一般的去重率在10~20:1之间。另外还可以配合硬件压缩,像Hifn公司的DR系列硬件加速无损压缩板卡,可以在不影响备份设备性能的前提下取得2:1的压缩比。这样两者结合,可以实现20~40:1的数据缩减比。

  当前重复数据删除主要被用于次级备份业务,一般和虚拟磁带库(VTL)处在同一位置。如果说IP-SAN市场的崛起是源于对链路要求从FC到IP的降级,那么支持重复数据删除的IP-SAN设备会更加加速这样的趋势。因为经过重复数据删除和压缩处理之后,应用产生的数据被大量缩减,使得之前利用FC构建的主存储和次级存储之间的链路的负担显著减轻,从而完全可以被更经济的IP链路所取代。

  

  2009年,自动精简配置和重复数据删除这两种技术可以显著提升存储介质的利用率,进而提升存储系统的利用率,减小企业IT运营成本,降低管理成本,有利于企业在经济发展面临困境时顺利过冬。

时间: 2024-11-01 10:24:34

自动精简配置&重复数据删除核心技术点及其经济效应探究的相关文章

惠普:Data Domain重复数据删除技术的巨大潜力

惠普从EMC与NetApp争夺Data Domain的大战中看到了重复数据删除技术的潜力--惠普表示,他们将也加入到其中. 惠普存储平台http://www.aliyun.com/zixun/aggregation/32064.html">市场总监Kyle Fitze表示:"这次交易与EMC和NetApp之间的竞价显示了该市场存在的商机.我们也希望加入其中参与竞争." 惠普通过一年前与Sepaton建立合作关系涉足重复数据删除市场,并且推出了由惠普实验室开发.针对远程办

你可能不了解的重复数据删除产品

在今天,重复数据删除产品已经不仅仅只有惠普.EMC (Avamar和Data Domain).Asigra.赛门铁克.Atempo和CommVault这几家才有了,让我们来看看下面这些你可能并没有接触的重复数据删除产品: 1. NextGen Storage NexGen的Phased Data Reduction的基本前提是目前的重复数据删除工具都是针对备份流程的,但未来这种做法可能不是最好的. NexGen Storage的首席执行官及创始人John Spiers表示,"你听到很多新的厂商,

如何使用重复数据删除技术实施主存储优化

主要文件系统存储优化(也就是在同样的空间塞进更多的数据)继续在日益普及.这里的挑战是主存储的重复数据删除并不是没有规则的.你不能删除这个重复的数据,也不能删除那个重复的数据,你必须要认识到删除重复数据之后对设备性能的影响. EMC已经宣布了在自己的Celerra平台上删除重复数据的功能.NetApp使用这个功能已经有一段时间了.其它厂商也以积极的方式增加这个功能,其方法是在数据不流动之后对数据进行压缩和删除重复数据.然后,Storwize等公司一直以在线实时压缩的方式提供这种功能. 正如存储虚拟

对VMware存储进行自动精简配置会引发哪些问题?

问:对VMware存储进行自动精简配置会引发哪些问题? 答:对VMware存储(或者Hyper-V存储)进行自动精简配置最大的问题就是有可能出现实际空间不足的情况.   自动精简配置可以实现用户所获得的虚拟硬盘(VMDK文件)空间比实际的物理阵列中的硬盘空间更大.自动精简配置提供一个guest操作系统,让设备感觉到自动精简配置的卷的空间是充足的,无论物理阵列的实际空间多大.因此guest OS并不能知晓什么时候物理存储的空间真正的满了. 在vSphere 5.0版本中,VMware为解决这一问题

重复数据删除技术在备份中的应用体会

   2007年底,熊猫电子集团选择EMC Avamar重复数据删除技术,建成了同行业中领先的数据备份系统.目前,这一技术已经在熊猫电子成功应用近一年了.在此介绍我们的应用经验,希望可以给国内同行提供有益的启示. 数据对熊猫集团的意义 南京熊猫电子集团创始于1936年,是一家具有70多年历史的国有综合性大型电子信息企业.1996年,熊猫集团控股的南京熊猫电子股份有限公司分别在香港联交所和上海证交所上市,成为国内电子行业第一家拥有H股的上市公司.南京熊猫电子集团下设家用电器产业集团.机电仪产业集团

EMC升级Celerra 支持闪存及重复数据删除

       WatchStor独家译文]虽然在上周接受采访时,EMC公司存储部门总裁David A.Donatelli就表示EMC近期将发布大量新品,但直到美国时间上周末,EMC才正式发布了其升级Celerra系列中端盘阵的消息. 除了业界猜测已久的重复数据删除和企业级闪存,EMC还增加了众多新功能以在VMware环境下优化存储.EMC的Celerra系列NAS.iSCSI和FC产品,去年收获了百分之四十以上的增长,远高于该公司的Symmetrix和CLARiiON SAN销售.Celerra

基于重复数据删除的虚拟桌面存储优化技术

近年来,云计算已成为分布式计算领域中的研究热点,它是指运行在数据中心软硬件上的应用通过Internet为用户按需提供服务:并将数据中心内的软硬件资源统称为云,云计算自身并不是一种新技术,而是一种新服务模式.这种模式能够将设备安装和资源管理外包给云服务商,具有按使用计费和扩展灵活的特性,通过对IT资源的统一部署与集中管理,云计算能够优化资源的利用率,为用户提供廉价.高效.可靠的服务. 虚拟桌面作为一种典型的云计算应用,是建立在服务器虚拟化基础上的云应用.如图1所示,虚拟桌面基础架构在云中为用户提供

测试:Data Domain拔得重复数据删除头筹

重复数据删除技术不仅能够提高企业存储效率,而且可以减少购买磁带或者磁盘等存储设备的需求,从而进一步节省了数据中心空间.能源和冷却资源. 从广义上讲,重复数据删除是一项分析数据文件.找出和删除冗余信息块.并且采用了g-zip或者LZ等压缩算法的技术.一般来讲,那些经常被编辑但是变更很少的文件是重复数据删除的理想对象.因此,不少企业开始考虑采用重复数据删除解决方案来减少企业数据库.电子邮件.服务器信息以及虚拟机镜像的备份和归档所需的存储空间. Data Domain是重复数据删除市场的领导者之一,所

磁盘及重复数据删除技术推动云存储

在接下来的两年里预计存储在第三方云存储中的数据会有4倍的增长,而存储在离线磁带介质中的数据预计到2012年则会减少三分之一. 磁盘以及重复数据删除技术推动了云的使用 无穷无尽的数据增长使得人们不得不使用基于磁盘的备份来缓解备份窗口过短的压力,从而释放更多的资源来执行更大的备份任务.而越来越多的能够提高存储利用率的技术比如重复数据删除,也从侧面推动了基于磁盘备份方式的普遍应用.那么,这些趋势如何影响人们对云备份的兴趣呢? 随着IT组织越来越多的采用磁盘备份来降低对磁带的依赖度,将数据以电子的形式保