虽然存储的售价一直都在不停的下降，但也远远赶不上公司内需要保存和备份的数据量的攀升速度。那么，是否有这样一种解决方案，它能够压缩大量的已有数据(压缩率达到1:10～1:20)，释放大量的存储空间，大大降低基于磁盘备份的成本?这正是重复数据删除(data de-duplication)技术为我们所许下的承诺。
Curtis Preston是GlassHouse公司负责数据保护的副总裁，同时也是一位备份和存储领域内的专家，对此他就说道：“每一个拥有大量数据的用户至少都应该试一试重复数据删除技术。”
但当谈到购买具体的重复数据删除方案时，Preston并没给出具体建议。目前这个领域内已经有了很多竞争者，其中很多厂商的重复数据删除方案已经正式推出。这些重复数据删除方案各自的实现方式各有不同，因此有些方案可能对某些用户来说是很好的选择，但另换他人的话就不一定合适了。
下面我们就为打算选购重复数据删除解决方案的用户提供一些建议：
选购的基础
重复数据删除技术之所以对各个规模的用户都是一个有吸引力的选择，主要是由于这项技术确实能够为那些至少拥有数TB备份数据的用户节省成本。
但专家Preston也提醒那些打算实施此项技术的用户必须要明白，“就压缩率这个问题而言，不同用户所得到的最终结果也会各不相同。”
“一般说来，1:10的压缩比率是比较保险的数值，”他说道，“有很多用户在使用1:20的压缩率。但是没有一个人最后可以达到这样的效果。你最终得到的实际结果很大程度上取决于你的备份数据类型和备份方式。”
这主要看你是否拥有众多的异地站点或经常外出办公的员工，或者是否打算在一个集中的数据中心内实施数据删除。虽然你能够找到可同时兼顾这两种情况的重复数据删除方案，但一种方案并不会对所有的用户都适用。
“载体派”与“独立派”之争
正如现在光盘存储领域发生的蓝光与HD DVD之间的业内格式标准争夺战一样，重复数据删除领域内也分成两大主要阵营。一方主张要首先拥有“载体”，Preston这样表述道。这一方的支持者主要是那些VTL(虚拟磁带库)厂商，他们的重复数据删除方案均以这些企业已有备份软件中的一个新特性的形式出现。这一方的领军厂商包括：Diligent、Data Domain、Sepaton、飞康(FalconStor)和昆腾(Quantum)。而争夺战的另一方则是以Avamar (现在已被EMC归入旗下)、Asigra、赛门铁克(Symantec)、Atempo和TimeSpring为代表的“独立派”，他们主张在数据的根源上就对其中重复部分进行删除，基本上取代对备份软件的需要。
于是事情也就随之变得复杂。“从表面上看，他们都在做着同样地事情：他们都在寻找那些重复多余的数据块，并努力将其处理掉，”Preston说道，“但他们也都在使用着各自不同的方式来实现这一切。并且这些不同解决方案所提供的压缩结果，单独的备份流量性能，以及最近的数据和较早数据的恢复性能均各有差异。”
Preston认为，一般而言，“载体派”成员的解决方案——那些VTL厂商们的方案，适合那些数据中心用户。这是因为他们的方案具有更好的性能，同时降低了存储数据所需的磁盘空间容量。并且其中的大多数方案都会很容易与你现有的架构融为一体，很少导致系统运转的中断。
但是为一个具有众多异地办公室的企业实施一套VTL方案的费用是非常高的，最便宜的具备重复数据删除功能的VTL方案的成本也要2万美元(这仅是单一地点的费用，也不包含备份软件及其他费用)。因此对于那些拥有众多分支办公室的公司来说，“独立派”的方案显然要划算得多。这就是为什么拥有73个分支办公室的Motor Vehicles公司的弗吉尼亚分公司会选择Avamar的Axion方案。Avamar的产品帮助这家公司的众多远程站点削减了所需磁带备份服务器和磁带库的数量。
当然独立的重复数据删除备份软件业并非适合所有的用户。“如果你的环境中有高达50TB的Oracle数据库需要备份话，那么就忘了那些独立的重复删除备份软件吧，”Preston说道，“对于大多数拥有大型独立服务器(容量达到20～30TB)的环境来说，这些软件的数据恢复性能会慢到让人无法忍受。”
如果你是一个既需要对异地分支办公室又要对中央数据中心进行备份的大型企业，那么很可能这两种类型重复数据删除方案都要采用。这在Preston看来也并非什么坏事。
“如果已经实施了NetBackup，但同时我又真的喜欢Avamar的产品(现在已经算是EMC的产品)。那我完全可以在我们数据中心内运行NetBackup，而将Avamar的产品分置于各个分支办公室内，让它们各自独立运转。这是因为远程办公室的问题确实棘手，为了解决这个麻烦我愿意做任何事情，”Preston说道。
磁带向磁盘的转移
重复数据删除技术也同样加快了企业由磁带存储向磁盘存储迁移的步伐。由于大幅降低了备份数据所需的备份磁盘空间，磁盘存储越来越显现出对于一级和二级存储的吸引力。
“向磁盘备份架构转移的趋势确实促进了用户对我们技术的接受程度，”Avamar的创始人Jed Yueh(现任EMC Avamar的产品管理部副总裁)说道，“如今消费者都开始关注于磁盘存储，以及如何强化自己的数据保护架构。我们的产品大幅度地降低了用户需要备份的数据量，这就使得在备份和恢复应用中，磁盘介质在成本方面与磁带介质之间有了可比性。因此说我们加快了这种向磁盘存储结构转移的趋势。”
一个很好的例子就是，St. Peters Health Services，一家位于纽约的，拥有450个床位的医院。这家医院一直都希望将以前基于磁带的备份转移到磁盘系统上来，最终他们在2004年购买了基于磁盘的备份解决方案。但后来的转移工作进展地很不顺利。以至于这家医院的IT经理Curt Damhof曾一度打算再回到以前磁带厂商的怀抱。后来Damhof关注到了Avamar的Axion重复数据删除方案，现在已经决定对其进行测试。
“它确实实现了此前的承诺，” Damhof说道，“我现在不再用磁带进行备份了。所有的事情都转移到磁盘上来了。考虑到其(指Axion的方案)效率上的优势，我要把所有的事情都保存在磁盘上。它有足够的理由吸引我这么做。此前我也关注过很多其它的方案，但由于那些方案都不具备重复数据删除特性。因此在你把数据写到磁盘上后，过一段时间你还是要向磁带上转移。因为有太多的数据需要放到磁盘上做长期的保存。”
做好自己的功课
“重复数据删除技术为解决如今大型企业的IT挑战提供两个重要的特性，”Yueh说道，“首先它能够降低当备份恢复应用由主存储向二级存储转移时，产生的数据量暴增的程度。这不仅局限于数据中心内，所有那些也同样面临数据增长失控危机的异地分站点也同样适用。其次它帮助用户彻底摒弃了古老的IT处理方式，真正将你带入21世纪。”
不过在你决定签下数万美元的支票采购任何一款重复数据删除方案之前，都要像实施任何一个金额巨大的项目那样，对每一个厂商的方案进行测试。
“这就如同买宝马车一样，你不能到了专卖店就说‘听说这车时速可达150英里，我要了!’”Preston说道，“如果这点对你很重要，那么你就应该钻进车里，然后把这车开到每小时150英里的速度去感受一下。”换句话说，在亲身体验之前，不要相信店员告诉你的任何事情。
“用户对于厂商所宣传的那些琐碎的技术细节并不感兴趣。他们最关心的就是最终能够得到多大的压缩率。也许这种方式的方案就很适合我的环境，而其他的则不理想。还有就是要花多少钱。”
此外，你还必须明确区分的事情包括：整体性能和单独的备份流量性能;对于新近备份数据的恢复和对较早以前备份数据的恢复效果;同时恢复这两类数据的情况;以及单独恢复新近备份数据和单独恢复较早以前备份数据的情况。
没有一个产品会在所有的任务中呈现出相同水平的性能或功能表现。因此最终你必须明确对于自己来说哪些才是最重要的。
来源：51CTO