rsync备份海量文件时占用大量内存的解决方法_服务器其它

linux发行版中大多都自带rsync,不过版本比较低,一般都是2.6.X
在2.X的版本中,rsync备份时都是先列表再备份(添加或者删除),在处理大量文件时,会耗费比较多的内存。
备份的时候,rsync扫描到的每个文件(目录也一样),在它的列表中约占100字节的内存,如果加了--delete参数的话,占用的内存会更多。
例如我这里一台服务器,约800万的图片,而且更新比较频繁,文件数增长比较快,差不多每天增加约10万张。备份的时候,rsync大约占用了将近2G的内存,大量内存的占用,造成服务器物理内存不足,进而使用到swap,然后产生更高的iowait(交换内存),进而造成rsync列表更慢,并且影响到服务器上的业务。
对于这样的情况,在rsync 3.X出现之前,人们普遍给出的建议是把备份操作给拆分成若干个小的备份操作。比如原来有10个图片目录一起备份,现在拆成10个备份操作,每次只备份其中一个。另外,还有人建议减小目录的深度,这样可以减小目录的数量,可以减少rsync占用的内存。另外还有个叫做digisync的软件,是专门用来备份G级数量的文件的。

rsync 3.X采用的是incremental file list,与原来的 2.X相比,现在是一边列表一边备份(添加或删除)。这对于大量文件的备份操作来说,无疑节省了很多时间。
实测发现,rsync 3.0.4备份时占用的内存大约时4M,跟一个apache进程占用的内存差不多。

rsync 的主页在http://samba.anu.edu.au/rsync/ 目前最新稳定版本为 rsync-3.1.1

复制代码 代码如下:

cd /usr/src/
wget http://samba.anu.edu.au/ftp/rsync/src/rsync-3.1.1.tar.gz
tar xzvf rsync-3.1.1.tar.gz
cd rsync-3.1.1
./configure --prefix=/usr
make
make install

然后运行 rsync --version 来看看版本号

需要注意的是,源主机和目的主机必须都升级到 rsync 3.X 才能使用到rsync 3.X的新特性。

值得一提的是,自从 2006年11月6号发布 version 2.6.9以后,一直到08年3月才发布3.0,使得很长一段时间内,大家不得不找各种各样的办法来处理大量的文件备份操作

时间: 2024-10-30 00:35:21

rsync备份海量文件时占用大量内存的解决方法_服务器其它的相关文章

jquery-easyui filebox 在IE下选中同一个文件时无法触发onchange的解决方法

问题描述 easyui filebox 在IE下选中同一个文件时无法触发onchange的解决方法 easyui filebox 在IE下选中同一个文件时无法触发onchange的解决方法,火狐.谷歌是可以的 解决方案 IE可以新生产一个file对象,参考:easyUI filebox选择同一个文件不触发onchange事件解决办法

QL Server数据库占用过多内存的解决方法

QL Server数据库占用过多内存的解决方法 经常有网友会问,SQL Server占用了太多的内存,而且还会不断的增长:或者说已经设置了使用内存,可它没有用到那么多,这是怎么一回事儿呢? 下面,我们来具体看以看SQL Server是怎样使用内存的. 最大的开销一般是用于数据缓存,如果内存足够,它会把用过的数据和觉得你会用到的数据统统扔到内存中,直到内存不足的时候,才把命中率低的数据给清掉.所以一般我们在看statistics io的时候,看到的physics read都是0. 其次就是查询的开

doscan.exe进程占用了大量的CPU和内存的解决方法_应用技巧

症状 在安装完Symantec AntiVirus Corporate Edition 10.0或Symantec Client Security 3.0重启电脑后,发现doscan.exe进程占用了大量的CPU和内存,在doscan.exe进程结束后,rtvscan.exe进程使用约40 MB的内存,使电脑运行速度变慢. 解决方法 这个问题已在Symantec AntiVirus 10.0.1 和 Symantec Client Security 3.0.1 中得到修复,安装上述版本的软件就可

火狐浏览器占用过多内存的解决方法

火狐在有些情况下会占用较多的内存(RAM),导致浏览器的反应速度较慢,在极端的情况下甚至会导致浏览器崩溃.下面介绍几种方法帮助减少火狐的内存占用,让您更有效地使用火狐浏览器. 检查安装的附加组件 安装的附加组件(包括扩展.主题.插件)造成浏览器占用过多内存的情况比较常见. 您可以用安全模式启动火狐浏览器,观察内存使用情况.在安全模式下扩展和主题是被禁用的,因此如果在安全模式下内存占用情况有了显著的改善,您可以尝试禁用或卸载某些扩展. 另外,插件(特别是旧版本的插件)经常消耗大量内存.您可以禁用其

VC6.0打开文件以及向工程中添加文件时程序崩溃自动退出解决方法_C 语言

换了一台电脑,vc6.0程序中,点击打开文件以及向工程中添加文件时,程序竟然崩溃自动退出了. 不知什么原因,安装相同的vc程序,本本竟然出现此缘故.但是这个操作又是自己经常用到的,所以不得不解决. 与上一台电脑不同的是,此电脑是win7系统,而上一个则是xp系统.此电脑office是2010版本,而上一个则是WPS:于是乎,在网上查资料,来解决. 看到网上也有类似的问题,有的说是win7系统原因,有的说是office2007版本缘故,有的说是viso缘故.总之,这几种说法,我都符合.win7系统

Rsync ERROR: auth failed on module解决方法_服务器其它

示意图: Rsync 版本 [root@mail video]# rsync –version rsync version 3.0.6 protocol version 30 Copyright (C) 1996-2009 by Andrew Tridgell, Wayne Davison, and others. Web site: rsync.samba.org Capabilities: 64-bit files, 64-bit inums, 64-bit timestamps, 64-b

rsync @ERROR: chdir failed 的解决方法_服务器其它

CwRsyncServer在windows 2003 server上遇到这样的问题: @ERROR: chdir failed rsync error: error starting client-server protocol (code 5) at main.c(1495) [rec eiver=3.0.2] 解决办法一: 1)新建一个目录比如, 进入 开始菜单>cwRsync Server>Prep a Dir for Upload, 选择D:\folder1 ,确定 2)右键点击fol

Ubuntu Server Rsync服务端与Windows cwRsync客户端数据同步配置方法_服务器其它

说明:1.Rsync服务端 系统:Ubuntu Server 11.10 IP地址:192.168.21.168 数据存放目录:/home/mysql_data2.cwRsync客户端 系统:Windows Server 2003 IP地址:192.168.21.130 同步的目录:D:\mysql_data实现目的:cwRsync客户端每天凌晨3:00钟自动同步Rsync服务端/home/mysql_data目录中的数据到D:\mysql_data目录一.Rsync服务端配置 1.开启防火墙t

[图文]IIS6不能下载未注册的文件解决方法_服务器

在Windows Server 2003下的IIS6,当打入地址请求下载文件时,默认情况下是大部分文件不能请求下载的,搜索了一下,原来要注册文件类型,方法如下: 1.在需要注册未下载文件类型的网站上点击右键选择"属性": 2.选择"HTTP 头"标签: 3.点击"MIME 类型(M)...": 4.点击"新建",在"扩展名"里输入要注册的扩展名,在"MIME 类型"里输入"ap