加速scp传输速度

1. 结论

声明:这里给出的测试数据不具有一般性,仅供参考。测试与数据本身特性有很大关系,本文使用InnoDB的redo log作为测试数据。

* 改变ssh加密算法,可以让速度更快;通常,越弱的加密算法,速度越快

* 通常压缩会降低scp速度,但这与数据类型有很大关系,对压缩率非常高的数据启用压缩,可以加速

* 压缩级别对传输效率影响很小

* 用于完整性校验的不同MAC( message authentication code)算法,对性能约有10%-20%的影响。

所以,简单尝试如下,让你的SCP速度double一下:

scp -r -c arcfour128 ...
scp -r -c aes192-cbc ...
scp -r -c arcfour128 -o "MACs umac-64@openssh.com" ...

注:启用压缩使用参数: -o "Compression yes"

2. 测试数据:加密算法和压缩的影响

这里对比了12种ssh中实现的加密算法和是否使用压缩的传输效率,测试文件使用的是InnoDB的1GB*4的日志文件(注意:不同类型的文件测试结果会很不同),这里纵坐标单位为MB/s,数据分为压缩传输和不压缩传输两组:

原始数据:scp_speed.txt

可以看到,不同加密算法传输速度相差很大;使用了压缩之后,速度下降很多,也看到不同加密算法加密后区别并不大。

3. 关于是否启用压缩

* 压缩只有在网络传输速度非常慢,以致于压缩后节省的传输时间大于压缩本身的时间,这时才有效果,所以是否启用压缩,需要实际测试

* 压缩比很低的数据,不要再启用压缩(例如已经压缩过的数据、视频等)

* 通常建议,传输前先压缩,而不是使用ssh的压缩;建议使用pigz/lbizp2等并行压缩工具

* 数据中大量重复、空洞,这类适合压缩的数据,可以尝试压缩选项,例如如下是一组,大量"空洞"数据的测试:

看到,压缩大大提高了传输效率

4. "压缩级别"对传输速度影响不大

最后一组对比是,将压缩级别从1改到9,对比传输速度,纵坐标单位MB/s,对12种加密算法分别使用了测试9个压缩级别,数据如下:

大图链接 原始数据:scp-compression-level.txt

可以看到,压缩级别对传输影响较小。ssh使用的默认压缩级别是6。

5. 测试数据:完整性校验算法MACs选择

通过选项Macs可以设置对应的哈希算法,man ssh_config可以看到支持哪些哈希算法。这里对了比了12中加密算法下使用不用的完整性校验算法的性能情况:

查看大图

看到,绝大数情况下"umac-64@openssh.com"(关于此哈希)性能都更好,所以建议尝试使用此哈希算法做验证,看看你的场景下速度是否与提升。也可以看到,默认的hmac-md5哈希在默认的加密aes128-ctr下表现比较好;

时间: 2024-08-31 01:04:01

加速scp传输速度的相关文章

linux中scp命令使用技巧详解(传输速度)

scp 命令   scp 可以在 2个 linux 主机间复制文件: 命令基本格式:        scp [可选参数] file_source file_target ====== 从 本地 复制到 远程 ====== * 复制文件:         * 命令格式:                 scp local_file remote_username@remote_ip:remote_folder                 或者                 scp local

华为联手沃达丰进行5G测试 传输速度达到20Gbit/s

华为联手沃达丰进行5G测试  伦敦时间7月21日消息,华为联手沃达丰在英国纽伯里的沃达丰Emerald House完成了5G毫微波现场测试.本次测试中,利用高强度物理反射的单用户MIMO实现了单用户设备达到20Git/s的峰值传输速度,并通过多用户MIMO实现远距单用户设备达到10Git/s的峰值传输速度. 据悉,这是全球首次在E-Band微波上对5G进行室外现场测试,并实现单用户设备达到20Git/s的峰值传输速度,大大地提高了高频谱效率.国际电信联盟无线电通信部门(ITU-R)认为20Git

十个 SCP 传输命令例子

十个 SCP 传输命令例子 Linux系统管理员应该很熟悉CLI环境,因为通常在Linux服务器中是不安装GUI的.SSH可能是Linux系统管理员通过远程方式安全管理服务器的最流行协议.在SSH命令中内置了一种叫SCP的命令,用来在服务器之间安全传输文件. 以下命令可以解读为:用"username account""拷贝 source file name"到"destination host"上的"destination folder

媲美光纤!WiFi传输速度已可达100Gbps

当前WiFi的最高传输速率是多少?是11ac技术标准的三频5300Mbps?还是11ad的7Gbps?亦或是11ax的10Gbps?答案是100Gbps!没错,这一足以媲美光纤的传输速度,近日在日本研究人员的努力下成为现实,其采用超短波+多通道技术实现了100Gbps的超高速无线传输,下载超清电影真的只需1秒! WiFi传输速度已可达100Gbps 该工作小组由松下赞助,在广岛大学和国家信息及通信技术研究所进行研发,借助多通道技术和太赫兹(THz)频段(波长不超过1毫米)实现了100Gbps的超

Verizon加入ONOS 加速网络传输服务

Verizon公司上周四宣布加入开源SDN开放网络操作系统(ONOS)项目,成为2016年首个加入该项目的服务提供商. Verizon将与其他的服务提供商和解决方案提供商如AT&T.NTT.南韩电信.中国联通.阿尔卡特朗讯.思科.爱立信.华为.英特尔等公司合作,加速开源SDN和NFV解决方案的采用. Verizon某技术专家表示,Verizon加入ON.Lab的ONOS项目并不是基于该公司业务的某一个特定方面或者是技术诉求,但是其总体意图是加快网络的传输速度. Verizon公司SDN/NFV架

10GB/s 希捷推出传输速度最快的固态闪存硬盘

2016年3月9日消息,全球领先的存储解决方案提供商希捷科技公司今日推出可量产的固态硬盘模型,单盘交付迄今最快的传输速度,吞吐量达10GB/s.这款固态硬盘早期模型满足开放计算项目(Open Compute Project)的标准,是寻求最新.最快速.最具可持续性的闪存技术的超大规模数据中心的理想解决方案. 10GB/s的固态硬盘将于今年夏天发布,传输速度较之前业界最快的固态硬盘快4GB/s.这款硬盘同样满足由Facebook发起的OCP存储规范,有助于降低这一性能级别的功耗和成本负担. 希捷固

如何解决局域网传输速度很慢的问题

故障分析并列出以下几种可能: 1.黑客攻击或中蠕虫病毒 2.线路故障 3.交换机超载 4.网络适配器故障 5.连通性问题 故障排除方法: 1.任意选取几台工作站,检查它的网络配置,正确无误.能够Ping通服务器,响应时间<1ms,属于正常范围,即连通性没有问题.在其中一台计算机上安装了WINDUMP来获取数据包,结果没有发现什么问题,故排除了黑客攻击或中蠕虫病毒的可能性. 2.在排除线路故障时,我们知道是所有的电脑都出现网内计算机传输速度较慢的问题;所以最大的可能只有6类线路的布线通过率的问题.

无线路由器传输速度150M、300M或450M是什么意思?

路由器的M是Mbps的简称,比特率是用来描述数据传输速度快慢的一个单位,比特率越大,数据流速越快.理论上150Mbps的网速,每秒钟的传输速度就是18.75MB/S.300Mbps的网速,每秒钟的传输速度就是37.5MB/S,那么这些是怎么算出来的呢? 注:数据的流速是变动的,比特率只是一个平均参考值.1M的网速,理论上是128KB/S,但实际上只有120左右不到,因为数据在传输过程中会有一定的损耗.另外,这个比特率和MP3 或者 视频的比特率是一样的,只是数量级不同而已,常见的MP3文件比特率

局域网传输速度很慢怎么办

  好多单位和公司组建了自己的局域网,可是一个刚建的小型局域网,一台服务器,十几台工作站,使用一台交换机作为接入设备,连接线路为6类线.主要故障表现为网内计算机传输速度较慢,任意一台工作站在服务器上复制一个100MB的文件,竟然要30分钟.即使是相邻的两个工作站,也是这样慢. 故障分析并列出以下几种可能: 1.黑客攻击或中蠕虫病毒 2.线路故障 3.交换机超载 4.网络适配器故障 5.连通性问题 故障排除方法: 1.任意选取几台工作站,检查它的网络配置,正确无误.能够Ping通服务器,响应时间<