专家答疑:重复数据删除在云中是如何工作的?

云和其他存储平台中的重复数据删除是一种从数据流中删除重复或重复数据以减少存储在设备或系统中的物理数据量的过程。

在主存储中,重复数据删除有助于通过删除相同的数据块并使用元数据将数据的逻辑副本与实际数据相关联,从而减少所消耗的物理空间量。 在公共云中,存储平台的重复数据删除功能不会暴露给用户。

如果提供商选择在云计算中实施重复数据删除,那么该保护对于云提供商来说是有益的。 这是因为存储空间是基于所使用的逻辑容量(而不是物理容量)来计费的,任何节省的开支都是由服务提供商提供的,以提供更便宜的服务或降低成本。

但是对于使用云端存储进行备份的人来说,存在一个问题。将多个备份映像复制到云上将消耗大量的存储空间,这比使用磁盘系统等磁盘系统作为存储目标时要大得多。

云端的重复数据删除有许多解决方案。许多备份软件平台将在源上重复数据删除,并仅保留物理存储上的重复数据删除数据。备份软件拥有并管理元数据由逻辑到物理状态转换。

另一种方法是寻找可以提供存储接口并进行重复数据删除的存储网关。在这种情况下,管理员不依赖于备份软件,数据可以更容易地导入其他平台。

最明显的问题是,使用任何备份软件都将拥有元数据,因此,理想情况下,存储重复数据删除网关是更好的选择。这样可以确保备份环境中的数据在备份软件之外是可移植的,而不需要对数据进行补充,从而将数据转移到另一个平台。

除了云中的重复数据删除之外,该过程在虚拟机组中运行良好,在虚拟机中,基本操作系统在多个虚拟机中是相似的或相同的。

在备份世界中,重复数据删除用于减少在执行相同数据集(例如VM)的重复备份时存储的物理数据量。当备份之间的实际数据只有一小部分(例如5%到10%)发生变化时,重复数据删除技术可确保物理空间消耗尽可能最优。备份系统可以看到重复数据删除率为20:1及更高。 

原文发布时间为:2017-05-27 

本文作者:佚名

时间: 2024-11-10 12:00:03

专家答疑:重复数据删除在云中是如何工作的?的相关文章

磁盘及重复数据删除技术推动云存储

在接下来的两年里预计存储在第三方云存储中的数据会有4倍的增长,而存储在离线磁带介质中的数据预计到2012年则会减少三分之一. 磁盘以及重复数据删除技术推动了云的使用 无穷无尽的数据增长使得人们不得不使用基于磁盘的备份来缓解备份窗口过短的压力,从而释放更多的资源来执行更大的备份任务.而越来越多的能够提高存储利用率的技术比如重复数据删除,也从侧面推动了基于磁盘备份方式的普遍应用.那么,这些趋势如何影响人们对云备份的兴趣呢? 随着IT组织越来越多的采用磁盘备份来降低对磁带的依赖度,将数据以电子的形式保

IBM新版本TSM增加重复数据删除和DB2集成

       [WatchStor独家译文]IBM昨天宣布推出Tivoli Storage Manager (TSM) 6,改版本集成了DB2数据库.TSM存储池子文件层级的重复数据删除功能以及对VMware虚拟机进行自动图像层级备份来备份软件应用.     DB2集成 IBM TSM 6采用了DB2而不是专门的数据库来在目录中追踪目标,这一特点提高了TSM 6的性能和可扩展性.新数据库可以在一个系统下保存多达10亿个目标.之前的数据库可以同时支持两个线程,而新数据库可以同时支持10个. 据IB

结合重复数据删除和Rowhammer的攻击怎么解?

阿姆斯特丹Vrije Universiteit大学的研究人员在其最新研究中介绍了结合重复数据删除和Rowhammer漏洞利用的攻击,他们在针对基于JavaScript的新的Microsoft Edge浏览器概念证明型攻击中采用了这种做法,专家称这是种"巧妙"的攻击方法. 该大学研究人员在其论文中指出,这个漏洞利用可允许攻击者获取任意内存读取/写入访问并"掌控"现代Microsoft Edge浏览器,即便是浏览器完全没有漏洞,且已开启所有防御. 这种攻击利用了Wind

对选购重复数据删除解决方案的几点建议

   虽然存储的售价一直都在不停的下降,但也远远赶不上公司内需要保存和备份的数据量的攀升速度.那么,是否有这样一种解决方案,它能够压缩大量的已有数据(压缩率达到1:10-1:20),释放大量的存储空间,大大降低基于磁盘备份的成本?这正是重复数据删除(data de-duplication)技术为我们所许下的承诺. Curtis Preston是GlassHouse公司负责数据保护的副总裁,同时也是一位备份和存储领域内的专家,对此他就说道:"每一个拥有大量数据的用户至少都应该试一试重复数据删除技术

基于重复数据删除的虚拟桌面存储优化技术

近年来,云计算已成为分布式计算领域中的研究热点,它是指运行在数据中心软硬件上的应用通过Internet为用户按需提供服务:并将数据中心内的软硬件资源统称为云,云计算自身并不是一种新技术,而是一种新服务模式.这种模式能够将设备安装和资源管理外包给云服务商,具有按使用计费和扩展灵活的特性,通过对IT资源的统一部署与集中管理,云计算能够优化资源的利用率,为用户提供廉价.高效.可靠的服务. 虚拟桌面作为一种典型的云计算应用,是建立在服务器虚拟化基础上的云应用.如图1所示,虚拟桌面基础架构在云中为用户提供

测试:Data Domain拔得重复数据删除头筹

重复数据删除技术不仅能够提高企业存储效率,而且可以减少购买磁带或者磁盘等存储设备的需求,从而进一步节省了数据中心空间.能源和冷却资源. 从广义上讲,重复数据删除是一项分析数据文件.找出和删除冗余信息块.并且采用了g-zip或者LZ等压缩算法的技术.一般来讲,那些经常被编辑但是变更很少的文件是重复数据删除的理想对象.因此,不少企业开始考虑采用重复数据删除解决方案来减少企业数据库.电子邮件.服务器信息以及虚拟机镜像的备份和归档所需的存储空间. Data Domain是重复数据删除市场的领导者之一,所

重复数据删除在主存储中的应用

现如今,重复数据删除技术已经不再让人感到陌生,其价值也已经在备份领域获得了充分的体现,如何发挥重复数据删除技术的最大价值就成为厂商们又一个需要思考的问题.重复数据删除技术向主存储 领域的延伸(NetApp公司开了重复数据删除技术在主存储应用的先河),也让我们看到了厂商期待将这项 技术能够发挥更大的价值.在2009年SNW中国大会上,HIFN向大家展示了其BitWackr重复数据删除和数据 缩减技术,笔者也借此机会与HIFN公司中国区销售总监赵强先生就重复数据删除技术在主存储领域有何 价值进行了一

如何使用重复数据删除技术实施主存储优化

主要文件系统存储优化(也就是在同样的空间塞进更多的数据)继续在日益普及.这里的挑战是主存储的重复数据删除并不是没有规则的.你不能删除这个重复的数据,也不能删除那个重复的数据,你必须要认识到删除重复数据之后对设备性能的影响. EMC已经宣布了在自己的Celerra平台上删除重复数据的功能.NetApp使用这个功能已经有一段时间了.其它厂商也以积极的方式增加这个功能,其方法是在数据不流动之后对数据进行压缩和删除重复数据.然后,Storwize等公司一直以在线实时压缩的方式提供这种功能. 正如存储虚拟

Attic - 拥有重复数据删除技术的备份软件

<iframe style="width: 170px; height: 30px;" src="http://ghbtns.com/github-btn.html?user=netkiller&repo=netkiller.github.com&type=watch&count=true&size=large" frameborder="0" scrolling="0" width=&q