[20131226]linux下使用pigz高效传输文件.txt

[20131226]linux下使用pigz高效传输文件.txt

http://zlib.net/pigz/

pigz, which stands for parallel implementation of gzip, is a fully functional replacement for gzip that exploits
multiple processors and multiple cores to the hilt when compressing data. pigz was written by Mark Adler, and uses the
zlib and pthread libraries. To compile and use pigz, please read the README file in the source code distribution. You
can read the pigz manual page here.

以前自己也测试过,tar+pigz确实非常快.

http://blog.itpub.net/267265/viewspace-752461/

今天要克隆机器,要传输文件从新机器,我使用如下:

我使用的linux版本是centos 6.2,pigz从这里下载:
http://pkgs.repoforge.org/pigz/

#  rpm -qa | grep pigz
pigz-2.1.6-1.el6.rf.x86_64

使用命令如下:
tar cvf - oracle -I pigz | ssh oracle@ip_address "( cd /u01/app/ ; tar xvf - -I pigz )"
or
tar cvf - oracle -I pigz | ssh oracle@ip_address tar xvf - -I pigz -C /u01/app/
--注意cvf 后面的-,千万不要忘记写!
--注意xvf 后面的-,千万不要忘记写!

--我拿pigz与lzop做了对比,明显pigz快许多.当然如果你网络不行,使用pigz会影响正常的业务.

时间: 2024-08-02 07:24:41

[20131226]linux下使用pigz高效传输文件.txt的相关文章

linux编程-linux下关于TCP packet传输的时间和频率控制

问题描述 linux下关于TCP packet传输的时间和频率控制 我需要在linux环境下设计一个函数,大概长成这样: sender(time, packet_size, frequency, file). 其中time就是需要传输多久(s),packet_size就是包大小(KB),frequency是每秒传输多少个packet,file是所传输的文件.想请问大牛,这个time和frequency能在linux下 找到相匹配的函数或者选项或者结构体吗? 还有个问题是,我到底应该用socket

Linux下编写Lua扩展so文件和调用方法实例

  这篇文章主要介绍了Linux下编写Lua扩展so文件和调用方法实例,本文给出C语言代码.编译SO文件.Lua中调用代码实例,需要的朋友可以参考下 代码如下: #include #include #include #include #include #include #include #include #include #include #include "lua.h" #include "lualib.h" #include "lauxlib.h&qu

linux下svn提交忽略某些文件、目录(ignore属性

 svn也是一个目录同步了我们可以用它来做版本控制了,下面一起来看看关于linux下svn提交忽略某些文件.目录(ignore属性),希望例子对各位有帮助.     在项目中,有些文件是不需要将本地的提交到svn仓库,例如config.php文件,特别是定义了绝对路径的,或者是缓存目录.图片目录等,所以为了方便,在每次提交svn的时候,都需要忽略这些文件.目录,避免不慎提交引起团队中其他成员需要修改其本地的版本. linux下用svn propedit svn:ignore命令可以编辑忽略文件.

linux下,java调用dll文件时,dll应该放在哪

问题描述 windows下,java调用dll文件时,dll放在system32这个文件夹下面,那linux下,dll文件应该放在哪? 问题补充:radio123 写道 解决方案 楼主要伤心了 linux底下应该不能直接调用dll 二进制格式不一样解决方案二:你们有谁做过把网页生成图片的功能吗,我提问很久了,都没人搭理我,我在windows下行,在linux下就不行了解决方案三:其实我也是啊,一个功能好不容易实现了,但是linux下不能运行,郁闷死了解决方案四:这个还真没有,还是借助网上力量搜索

Linux下SVN服务器自动更新文件到Web目录的方法_Linux

说明: 服务器操作系统:CentOS 服务器IP:192.168.21.134 SVN安装路径:/usr/local/svn SVN项目路径:/home/svn SVN登录账号:osyunwei SVN登录密码:123456 Web站点根目录:/home/web实现目的: 当svn项目中有任何修改更新时,系统会自动实时从svn中检出文件并同步到Web站点根目录 具体操作: 一.使用SVN中post-commit实现自动实时从svn中检出文件并同步到Web站点根目录 cd /home/svn/ho

LINUX下PHP程序实现WORD文件转化为PDF文件的方法_php技巧

本文实例讲述了LINUX下PHP程序实现WORD文件转化为PDF文件的方法.分享给大家供大家参考,具体如下: <?php set_time_limit(0); function MakePropertyValue($name,$value,$osm){ $oStruct = $osm->Bridge_GetStruct("com.sun.star.beans.PropertyValue"); $oStruct->Name = $name; $oStruct->V

Linux有问必答:如何在Linux下重命名多个文件

Linux有问必答:如何在Linux下重命名多个文件 提问:我知道我可以用mv命令重命名文件.但是当我想重命名很多文件怎么办?如果为每个文件都这么做将会是很乏味的.有没有办法一次性重命名多个文件? 在Linux中,当你想要改变一个文件名,使用mv命令就好了.然而mv不能使用通配符重命名多个文件.可以用sed.awk或者与xargs结合使用来处理多个文件的情况.然而,这些命令行即繁琐又不友好,并且如果不小心的话还很容易出错.你不会想要撤销1000个文件的错误名吧! 当你想要重命名多个文件的时候,r

[20130109]使用bbcp传输文件.txt

[20130109]使用bbcp传输文件.txt 今天看了一些blog,发现一些blog提到了bbcp.使用它来传输大文件据说很快. 相关站点:http://www.slac.stanford.edu/~abh/bbcp/bin/http://www.slac.stanford.edu/~abh/bbcp/ --不行,可以自己下载编译:git clone http://www.slac.stanford.edu/~abh/bbcp/bbcp.gitcd bbcpmake cp bin/amd64

Linux下文本的高效处理

1 引言 所谓的文本处理是指对文本进行查找.替换.删除.排序等操作, linux在文本处理方面提供了大量优秀的工具, 使得在linux下进行文本处理极其的方便.  我们平常的工作中, 经常会用到文本处理, 比如日志分析, 比如文本抽取, 等等, 所以掌握好文本处理, 将会对我们的工作起到极大的作用.  下面我就来逐个介绍下这些强大的工具, 对于我觉得大家可能比较熟知的工具及用法, 我会略过, 或者粗讲下. 2 关于输入 Linux哲学中, 为了更好的组合各种命令达到更加强大的功能, 大多数文本处