企业级大数据备份:十问重复数据删除技术

仅仅在几年以前,重复数据删除还是一个独立的功能,重复数据删除为企业备份和归档部门的存储系统提供另一种选择。同时也在云端网关找到了新的用途,当数据进入阵列或虚拟磁带库之前过滤掉不必要的数据块。现在,它已经成为统一计算系统预先集成的功能。而了解如何更有效的使用这项技术成为一种需求。于此同时IT经理应该重新审视存储问题并询问为其提供存储的供应商。

1. 重复数据删除技术对备份性能将产生什么影响?

对于业务成倍增长的大型企业来说高性能是至关重要的。同时企业还需在有限的备份环境内确保海量数据备份环境的安全。随着时间的推移,了解重复数据删除技术(特别是个类别之间性能差距)成为在特定环境中选择最合适技术至关重要的因素。

2. 重复数据删除会降低恢复数据的性能?

了解恢复文件所需的时间(例如在上周备份,同时这也是恢复请求最常见的类别)。企业需要询问供应商所提供的技术能否确保上一次即时恢复和快速磁带传送的备份可用。

3. 容量和性能扩展将如何随着环境而增长?

通过特定的重复数据删除比率、策略、数据类型和增长率计算存储在单一重复删除数据系统内能够存储的数据容量。同时了解超额存储所带来的影响,例如当超额数据容量需要你保存在额外的数据备份系统中。但这也带来的新的问题,你必须考虑额外的管理复杂性成本、资本开支以及对现有环境的破坏。

4. 针对大型数据库重复数据删除的效率如何?

确保重复数据删除进行处理Sub-8KB数据时进行优化,同时保持之前的性能水准。大型的、承载关键任务的数据库。如Oracle、SAP、SQL Server以及DB2通常更改数据段中8KB或更少的数据。然而在没有大幅放缓备份过程的情况下大多数据重复删除无法提供小于16KB数据段的执行比较功能。

5. 渐进增量备份环境中重复数据删除的效率如何?

一些重复数据删除包在消除重复数据删除TSM渐进增量备份以及将数据分段的应用程序的备份时效率较低。例如NetWorker和HP Data Protector。询问供应商重复数据删除技术是否能够使用来自备份应用中的元数据,以便确认包含重复数据删除数据的数据域。确保执行字节级数据比较时实现优化的数据减少,同时保持较高的性能。

6. 对容量缩小的现实期望是什么?

大企业需要的是提供更有效的策略用来确保备份窗口内数据传输的安全,同时提供高效的重复数据删除能力的解决方案,而不是更高的重复数据删除比率。并行处理和确定的传输速率以及重复数据删除和复制是推动企业环境的关键因素。

7. 管理员可以在企业范围内监视备份、重复数据删除、复制和恢复吗?

数据保护环境的整体视图使得备份信息的管理员能够管理更多的数据。精细调整备份环境以优化利用率和效率,并准确规划未来企业内所有的性能和容量要求。

8. 重复数据删除技术可以帮助大型企业降低数据卷的复制带宽需求吗?

某些重复数据删除技术具备使企业能够更高效的跨广域网的复制变化的字节级数据,并减少对WAN带宽的要求并改善安全时间。

9. IT部门是否能够通过细微调整重复数据删除技术以满足自身需求?

在企业数据保护环境中可能存在特殊的重复数据删除要求的数据类型。使IT部门寻找能够选择适合自身的数据集执行重复数据删除备份策略和数据类型的解决方案,以及那些自动检测到的数据类型的备份和执行。选择合适的重复删除数据技术使之能够针对不同的数据类型选择最有效的重复数据删除方法。

10. 供应商具备多少备份大型企业环境数据的经验?

拥有庞大数据规模和复杂策略的企业级数据中心需要具备专业知识和企业级备份应用程序的数据保护供应商的支持。例如NetBackup、NetBackup OST以及Tivoli Storage Manager。供应商应该就如何优化整体备份基础设施以及在大型环境中复制、备份和重复数据删除技术等提供评估和指导。(李智/编译)

(责任编辑:吕光)

时间: 2024-11-02 16:28:25

企业级大数据备份:十问重复数据删除技术的相关文章

MSSql简单查询出数据表中所有重复数据的方法_MsSql

本文实例讲述了MSSql简单查询出数据表中所有重复数据的方法.分享给大家供大家参考,具体如下: 这里直接给出下面的例子: SELECT * FROM SYS_LogContent slc WHERE slc.LogInfo_ID IN ( SELECT slc2.LogInfo_ID FROM SYS_LogContent slc2 GROUP BY slc2.LogInfo_ID HAVING COUNT(*)>1 ) 简单说明: 关键代码在于上面的括号中.要想查询出所有重复的数据,可以按照某

MSSql简单查询出数据表中所有重复数据的方法

本文实例讲述了MSSql简单查询出数据表中所有重复数据的方法.分享给大家供大家参考,具体如下: 这里直接给出下面的例子: SELECT * FROM SYS_LogContent slc WHERE slc.LogInfo_ID IN ( SELECT slc2.LogInfo_ID FROM SYS_LogContent slc2 GROUP BY slc2.LogInfo_ID HAVING COUNT(*)>1 ) 简单说明: 关键代码在于上面的括号中.要想查询出所有重复的数据,可以按照某

Lnmp VPS网站数据备份脚本(风站数据及mysql数据库)

网站备份的重要性,相信每一个站长都是知道的,现在大多数站长,都使用了VPS主机,在LINUX操作系统中,VPS数据备份主要是,网站文件,数据库,域名配置等,像部落是使用的军哥一健安装包,操作基本完全一样. 这里,我们主要是用脚本来实现自动化的操作,内容如下:  代码如下 复制代码 #!/bin/bash MYSQL_USER=root           #mysql用户名 MYSQL_PASS=123456   #mysql密码 WEB_DATA=/home/web        #要备份的网

如何去除数据表中的重复数据

通常情况下,一个我们在做一个产品的时候,一开始可能由于设计考虑不周或者程序写的不够严谨,某个字段上的值产生重复了,但是又必须去掉,这个时候就稍微麻烦了一点,直接加一个UNIQUE KEY肯定是不行了,因为会报错. 现在,我们来采用一种变通的办法,不过可能会丢失一些数据 :) 在这里,我们设定一个表,其结构如下: mysql> desc `user`;+-------+------------------+------+-----+---------+----------------+| Fiel

Attic——删除重复数据的备份程序

Attic--删除重复数据的备份程序 Attic是一个Python写的删除重复数据的备份程序,其主要目标是提供一种高效安全的数据备份方式.重复数据消除技术的使用使得Attic适用于日常备份,因为它可以只存储那些修改过的数据. Attic特性 空间高效存储 可变块大小重复数据消除技术用于减少检测到的冗余数据存储字节数量.每个文件被分割成若干可变长度组块,只有那些从没见过的组合块会被压缩并添加到仓库中. 可选数据加密 所有数据可以使用256位AES加密进行保护,并使用HMAC-SHA256验证数据完

景象:走向虚拟化 数据备份还原大不同

随着http://www.aliyun.com/zixun/aggregation/13883.html">虚拟化技术的应用程度越来越深,数据备份还原的方式与过去有很大的不同,比如说VMware虚拟化环境的数据备份还原. 这不仅是技术的变革,从备份软件的业界生态环境,就能看到与过去不一样的景象. 备份软件产业相对稳定,主要的竞争厂商在过去这几年都没什么改变,虽然其中有一些新兴储存技术问市,像是VTL(虚拟磁带库),但是这些并无法完全取代原本的备份软件,所以几个主要备份软件厂商的地位丝毫不受

《IT运维之道》——13.4 数据备份软件

13.4 数据备份软件 随着企业的变大.应用的不断变化和增多,服务器海量数据的不断增长,数据的体积变得越来越庞大.同时,各种数据的安全性和重要程度也越来越重要.在运行过程中大到自然灾害,小到病毒.磁盘故障乃至操作员意外操作失误,都会影响系统的正常运行,甚至造成这个系统完全瘫痪.数据备份的任务与意义就在于,当灾难或系统故障发生后,通过备份的数据完整.快速.简捷.可靠地恢复原有系统. 随着存储技术的发展,从DAS到SAN.NAS存储架构,备份技术由传统的网络架构备份模式发展到LAN Free Bac

《IT运维之道》一13.4 数据备份软件

13.4 数据备份软件 随着企业的变大.应用的不断变化和增多,服务器海量数据的不断增长,数据的体积变得越来越庞大.同时,各种数据的安全性和重要程度也越来越重要.在运行过程中大到自然灾害,小到病毒.磁盘故障乃至操作员意外操作失误,都会影响系统的正常运行,甚至造成这个系统完全瘫痪.数据备份的任务与意义就在于,当灾难或系统故障发生后,通过备份的数据完整.快速.简捷.可靠地恢复原有系统. 随着存储技术的发展,从DAS到SAN.NAS存储架构,备份技术由传统的网络架构备份模式发展到LAN Free Bac

重复数据删除是越俎代庖还是锦上添花?

 重复数据删除技术目前已成为存储行业最为热门的技术,不仅众多厂商极力推荐其重复数据删除产品,广大用户也在热切的关注着重复数据删除技术.这种热闹局面主要是由当前经济大环境不景气的外部原因和企业自身数据飞速增长的内部原因共同形成的.然而,重复数据删除产品越来越受用户关注的同时,其功能作用也被一些厂商过分的放大,成为厂商推销其产品的卖点和噱头.所以,用户在选择重复数据删除产品时还需要谨慎起见. 用户该相信哪个"王婆"? 当前,重复数据删除市场上的吆喝声是越来越大,众厂商无不卖力的吆喝着自己重