如何使用重复数据删除技术实施主存储优化

主要文件系统存储优化(也就是在同样的空间塞进更多的数据)继续在日益普及。这里的挑战是主存储的重复数据删除并不是没有规则的。你不能删除这个重复的数据,也不能删除那个重复的数据,你必须要认识到删除重复数据之后对设备性能的影响。

EMC已经宣布了在自己的Celerra平台上删除重复数据的功能。NetApp使用这个功能已经有一段时间了。其它厂商也以积极的方式增加这个功能,其方法是在数据不流动之后对数据进行压缩和删除重复数据。然后,Storwize等公司一直以在线实时压缩的方式提供这种功能。

正如存储虚拟化和精简配置已经证明的那样,当你不必妥协的时候,主存储将更好。为主存储强加一些条件的问题是事情会变得更复杂。这种复杂性会导致人们不适用这个技术。技术越透明和越通用,取得成功的机会就越大。

一些主存储优化的挑战是它基本上依赖于你拥有的数据类型和访问那个数据的工作量。删除重复数据要产生一些好处的话,显然必须要有重复的数据。因此,每个星期进行完整的备份是删除重复数据的理想的应用程序。另一方面,主存储不都是重复的数据。

除了主存储之外,删除重复数据还与繁重的输入/输出任务和随机的读/写输入输出有关。在这些情况下,用户也许会感受到应用重复数据删除的性能影响。

因此,大多数厂商建议把这个技术的应用限制在家目录(home directories)和VMware镜像方面,因为这些地方数据重复的可能性非常高,工作量主要是读数据。

特别是不要在数据库中使用删除重复数据的功能。人们担心,数据库中有大量的重复的数据,删除重复的数据会对性能产生影响。正如我们在数据库存储优化的文章中指出的那样,减少甲骨文数据库数据、联机和实施压缩解决方案也许更适合这里。数据库是最适合压缩的,无论是否有重复的数据,实时的压缩在大多数情况下都不会对性能产生直接的影响。

随着数据增长继续加快,将需要更多的数据优化。使用多种技术也许是阻止这个潮流的唯一途径。压缩也许会广泛地应用。作为应该应用于具体工作量的删除重复数据的补充,这种删除重复数据的做法应该应用于存档,并且不在主存储中使用。所有这些都需要能够提高人员效率和资源效率的工具。

时间: 2024-12-02 17:57:05

如何使用重复数据删除技术实施主存储优化的相关文章

磁盘及重复数据删除技术推动云存储

在接下来的两年里预计存储在第三方云存储中的数据会有4倍的增长,而存储在离线磁带介质中的数据预计到2012年则会减少三分之一. 磁盘以及重复数据删除技术推动了云的使用 无穷无尽的数据增长使得人们不得不使用基于磁盘的备份来缓解备份窗口过短的压力,从而释放更多的资源来执行更大的备份任务.而越来越多的能够提高存储利用率的技术比如重复数据删除,也从侧面推动了基于磁盘备份方式的普遍应用.那么,这些趋势如何影响人们对云备份的兴趣呢? 随着IT组织越来越多的采用磁盘备份来降低对磁带的依赖度,将数据以电子的形式保

基于重复数据删除的虚拟桌面存储优化技术

近年来,云计算已成为分布式计算领域中的研究热点,它是指运行在数据中心软硬件上的应用通过Internet为用户按需提供服务:并将数据中心内的软硬件资源统称为云,云计算自身并不是一种新技术,而是一种新服务模式.这种模式能够将设备安装和资源管理外包给云服务商,具有按使用计费和扩展灵活的特性,通过对IT资源的统一部署与集中管理,云计算能够优化资源的利用率,为用户提供廉价.高效.可靠的服务. 虚拟桌面作为一种典型的云计算应用,是建立在服务器虚拟化基础上的云应用.如图1所示,虚拟桌面基础架构在云中为用户提供

CIO关注:重复数据删除技术避免存储黑洞

       企业信息系统选型宝典存储备份漫长的等待时间,和瞬间海量数据的增长,对于CIO来说都是一个痛苦的过程.他们眼看着宝贵的存储资源在慢慢被耗尽,又束手无策.数据备份和恢复,是保证企业信息安全的必由之路,但如何有效地利用存储资源,从而缓解存储压力,重复数据删除技术给CIO们提供了一个不错的选择. 机遇 OPPORTUNITY Gartner认为,在未来18个月内,重复数据删除技术(DataDe-duplication)将扮演重要的角色,以帮助企业得以自如地控制日益堆积如山的数据,以达到企业

惠普:Data Domain重复数据删除技术的巨大潜力

惠普从EMC与NetApp争夺Data Domain的大战中看到了重复数据删除技术的潜力--惠普表示,他们将也加入到其中. 惠普存储平台http://www.aliyun.com/zixun/aggregation/32064.html">市场总监Kyle Fitze表示:"这次交易与EMC和NetApp之间的竞价显示了该市场存在的商机.我们也希望加入其中参与竞争." 惠普通过一年前与Sepaton建立合作关系涉足重复数据删除市场,并且推出了由惠普实验室开发.针对远程办

Attic - 拥有重复数据删除技术的备份软件

<iframe style="width: 170px; height: 30px;" src="http://ghbtns.com/github-btn.html?user=netkiller&repo=netkiller.github.com&type=watch&count=true&size=large" frameborder="0" scrolling="0" width=&q

哪些企业适合采用重复数据删除技术

随着企业对数据安全的重视程度加强,适合企业不同特性的从存储备份方案也应运而生.重复删除技术就是其中的一种.在这篇中就跟大家谈谈,什么样的企业适合采用重复数据删除技术. 一.数据量大.且冗余大的企业适合使用重复数据删除技术. 在对企业的信息化数据进行存储与备份时,超大的容量一直是项目管理员比较头疼的问题.有不少企业,可能一年就需要升级一下存储设备的容量.在这种情况下,采用重复数据删除技术能够起到一定的效果. 通常情况下,当企业的数据量越大,备份数据中所包含的冗余部分也就越多.虽然说增量的http:

重复数据删除技术的几个产品

不久以前,重复数据删除领域还只有几家初始公司,比如Data Domain.过去五年来,这个技术不断发展壮大.现在,几乎所有大厂商都在使用重复数据删除技术. 如果你想采用这项技术的话,下面这几个产品值得留意. 1. Quantum DXi8500 Quantum的DXi系列内置重复数据删除功能的磁盘系统包含几个产品.例如,DXi8500针对的是企业范围的备份.灾难恢复和数据保护.它提供高达6.4TB/小时的备份性能和至多200TB的可用容量. Quantum企业磁盘系统产品经理Mike Spark

企业级大数据备份:十问重复数据删除技术

仅仅在几年以前,重复数据删除还是一个独立的功能,重复数据删除为企业备份和归档部门的存储系统提供另一种选择.同时也在云端网关找到了新的用途,当数据进入阵列或虚拟磁带库之前过滤掉不必要的数据块.现在,它已经成为统一计算系统预先集成的功能.而了解如何更有效的使用这项技术成为一种需求.于此同时IT经理应该重新审视存储问题并询问为其提供存储的供应商. 1. 重复数据删除技术对备份性能将产生什么影响? 对于业务成倍增长的大型企业来说高性能是至关重要的.同时企业还需在有限的备份环境内确保海量数据备份环境的安全

重复数据删除技术在备份中的应用体会

   2007年底,熊猫电子集团选择EMC Avamar重复数据删除技术,建成了同行业中领先的数据备份系统.目前,这一技术已经在熊猫电子成功应用近一年了.在此介绍我们的应用经验,希望可以给国内同行提供有益的启示. 数据对熊猫集团的意义 南京熊猫电子集团创始于1936年,是一家具有70多年历史的国有综合性大型电子信息企业.1996年,熊猫集团控股的南京熊猫电子股份有限公司分别在香港联交所和上海证交所上市,成为国内电子行业第一家拥有H股的上市公司.南京熊猫电子集团下设家用电器产业集团.机电仪产业集团