Linux系统中下载文件的wget命令行工具

简介

Linux系统中的wget是一个下载文件的命令行工具。

对于Linux用户是必不可少的工具,对于经常要下载一些软件或从远程服务器恢复备份到本地服务器,这个命令尤为重要。wget支持HTTP,HTTPS和FTP协议,可以使用HTTP代理。

自动下载

wget支持自动下载,即wget可以在用户退出系统的之后在后台执行。这意味这你可以登录系统,启动一个wget下载任务,然后退出系统,wget将在后台执行直到任务完成,这是个牛气冲天的功能。

完全重建

wget 可以跟踪HTML页面上的链接依次下载来创建远程服务器的本地版本,完全重建原始站点的目录结构。这又常被称作”递归下载”。在递归下载的时候,wget 遵循Robot Exclusion标准(/robots.txt). wget可以在下载的同时,将链接转换成指向本地文件,以方便离线浏览。

高稳定

wget 非常稳定,它在带宽很窄的情况下和不稳定网络中有很强的适应性.如果是由于网络的原因下载失败,wget会不断的尝试,直到整个文件下载完毕。如果是服务器打断下载过程,它会再次联到服务器上从停止的地方继续下载。这对从那些限定了链接时间的服务器上下载大文件非常有用。

命令格式

wget [参数] [URL地址]

用于从网络上下载资源,没有指定目录,下载资源回默认为当前目录。wget虽然功能强大,但是使用起来还是比较简单:

wget下面的特点是使用它主要考虑的方面:

  1. 支持断点下传功能,可以让网络不是太好的用户可以放心了
  2. 同时支持FTP和HTTP下载方式;尽管现在大部分软件可以使用HTTP方式下载,但是,有些时候,仍然需要使用FTP方式下载软件
  3. 支持代理服务器
  4. 设置方便简单;可能,习惯图形界面的用户已经不是太习惯命令行了,但是,命令行在设置上其实有更多的优点,最少,鼠标可以少点很多次,也不要担心是否错点鼠标
  5. 程序小,完全免费

使用范例

wget的命令参数很多,不过常用的为下面几个,详细的可以看最后。

使用wget下载单个文件

比如,我们下载个Ubuntu的最新版本,试下效果如何


  1. wget http://releases.ubuntu.com/16.04/ubuntu-16.04-desktop-amd64.iso 

在下载的过程中会显示进度条,包含(下载完成百分比,已经下载的字节,当前下载速度,剩余下载时间)。

使用wget -O下载并以不同的文件名保存

这个对于动态链接的下载比较有用


  1. wget -O wordpress.zip http://www.ubuntu.com/download.aspx?id=1234 

使用wget –limit -rate限速下载


  1. wget --limit-rate=300k http://releases.ubuntu.com/16.04/ubuntu-16.04-desktop-amd64.iso 

当你执行wget的时候,它默认会占用全部可能的宽带下载。但是当你准备下载一个大文件,而你还需要下载其它文件时就有必要限速了。

使用wget -c断点续传


  1. wget -c http://releases.ubuntu.com/16.04/ubuntu-16.04-desktop-amd64.iso 

使用wget -c重新启动下载中断的文件,对于我们下载大文件时突然由于网络等原因中断非常有帮助,我们可以继续接着下载而不是重新下载一个文件。需要继续中断的下载时可以使用-c参数。

使用wget -b后台下载


  1. wget -b http://releases.ubuntu.com/16.04/ubuntu-16.04-desktop-amd64.iso 

对于下载非常大的文件的时候,我们可以使用参数-b进行后台下载。


  1. wget -b http://releases.ubuntu.com/16.04/ubuntu-16.04-desktop-amd64.iso Continuing in background, pid 1840. Output will be written to `wget-log'. 

你可以使用以下命令来察看下载进度:


  1. tail -f wget-log 

使用wget –tries增加重试次数


  1. wget --tries=40 URL 

如果网络有问题或下载一个大文件也有可能失败。wget默认重试20次连接下载文件。如果需要,你可以使用–tries增加重试次数。

使用wget -i下载多个文件


  1. wget -i filelist.txt 

首先,保存一份下载链接文件


  1. cat > filelist.txt url1 url2 url3 url4  

接着使用这个文件和参数-i下载

使用wget –reject过滤指定格式下载


  1. wget --reject=gif ur 

下载一个网站,但你不希望下载图片,可以使用以下命令。

使用wget -o把下载信息存入日志文件


  1. wget -o download.log URL 

不希望下载信息直接显示在终端而是在一个日志文件,可以使用

使用wget -Q限制总下载文件大小


  1. wget -Q5m -i filelist.txt 

当你想要下载的文件超过5M而退出下载,你可以使用。注意:这个参数对单个文件下载不起作用,只能递归下载时才有效。

使用wget -r -A下载指定格式文件


  1. wget -r -A.pdf url 

可以在以下情况使用该功能:

  • 下载一个网站的所有图片
  • 下载一个网站的所有视频
  • 下载一个网站的所有PDF文件

使用wget FTP下载

可以使用wget来完成ftp链接的下载。

使用wget匿名ftp下载:


  1. wget ftp-url 

使用wget用户名和密码认证的ftp下载


  1. wget --ftp-user=USERNAME --ftp-password=PASSWORD url   

作者:十月天文

来源:51CTO

时间: 2024-10-14 06:09:23

Linux系统中下载文件的wget命令行工具的相关文章

lolcat :一个在 Linux 终端中输出彩虹特效的命令行工具

那些相信 Linux 命令行是单调无聊且没有任何乐趣的人们,你们错了,这里有一些有关 Linux 的文章,它们展示着 Linux 是如何的有趣和"淘气" . Linux命令及Linux终端的20个趣事 终端中的乐趣:6个有趣的Linux命令行工具 Linux终端的乐趣之把玩字词计数 在本文中,我将讨论一个名为"lolcat"的小工具 – 它可以在终端中生成彩虹般的颜色. 为终端生成彩虹般颜色的输出的 Lolcat 命令 何为 lolcat ? Lolcat 是一个针

文件下载-同一个文件在Linux系统中下载,文件比较小

问题描述 同一个文件在Linux系统中下载,文件比较小 在www.samba.org下载Samba源码samba-latest.tar.gz,在Linux系统下下载大小只有19.4M,而在win7系统下载大小确是97.1M,解压后里面内容一样(其实就是同一个下载路径https://download.samba.org/pub/samba/samba-latest.tar.gz),,,为什么大小不同 19.4M的是从Linux系统中拖出来的 win7用的是360浏览器,Linux用的是Firefo

Linux系统中的文件类型及文件扩展名详解

  Linux文件类型和Linux文件的文件名所代表的意义是两个不同的概念.我们通过一般应用程序而创建的比如file.txt.file.tar.gz ,这些文件虽然要用不同的程序来打开,但放在Linux文件类型中衡量的话,大多是常规文件(也被称为普通文件). 一. 文件类型 Linux文件类型常见的有:普通文件.目录文件.字符设备文件和块设备文件.符号链接文件等,现在我们进行一个简要的说明. 1. 普通文件 我们用 ls -lh 来查看某个文件的属性,可以看到有类似-rwxrwxrwx,值得注意

php web 中文 乱吗-在linux系统中建立文件夹名为中文的如:”爱提问题“,怎么在web前台页面显示呢,一直乱码

问题描述 在linux系统中建立文件夹名为中文的如:"爱提问题",怎么在web前台页面显示呢,一直乱码 php处理函数mb_convert_encoding()和iconv()都不管用__ 解决方案 注意汉字编码,后天,前段编码格式要一致 解决方案二: http://jingyan.baidu.com/article/ab69b270de8b4f2ca7189f1d.html 看看这个 解决方案三: 关键是你拼接产生的文件名要和整个html的编码匹配,否则肯定是乱码 参考:http:/

linux系统中各个文件描述——陆续添加

1./etc/inputrc 通过设置INPUTRC环境变量(参见/etc/profile文件),其作用主要定义或者改变一些功能键的定义,从而更好地使用命令行,通常情况下INPUTRC环境变量指向 /etc/inputrc文件,只要编辑/etc/inputrc文件,以及利用Tab键的命令补全功能,就可以实现类似于MSDOS的DOSKEY的功能. 以Redhat 7.3为例来说明,使用的bash shell版本号为2.0.5.你可以根据自己的需要定制与修改此文件,如想了解更多的内容,可以参阅man

详解Linux系统中的文件权限设置

你要明白的第一件事是文件权限可以用来干什么.当你设置一个分组的权限时发生了什么?让我们将其展开来说,这个概念就真的简单多了.那到底什么是权限?什么是分组呢? 你可以设置的3种权限: 1.读 - 允许该分组读文件(用r表示) 2.写 - 允许该分组写文件(用w表示) 3.执行 - 允许该分组执行(运行)文件(用x表示) 为了更好地解释这如何应用于一个分组,例如,你允许一个分组可以读写一个文件,但不能执行.或者,你可以允许一个分组读和执行一个文件,但不能写.甚至你可以允许一个分组有读.写.执行全部的

Linux系统中的ps进程查看命令使用实例集锦

  linux 中ps命令是Process Status的缩写.ps命令可以列出系统中当前运行的进程,所列出的进程是执行ps命令这个时刻正在运行的进程. 如果要动态显示进程信息,需要使用top命令. 通过ps命令,可以确定哪些进程正在运行和运行状态.进程是否结束.进程是否僵死,哪些进程占用过多资源等. 要杀死进程,使用kill命令,例:kill 12345 (12345为进程的pid) linux进程有5种状态 1.运行(正在运行或在运行队列中等待) 2.中断(休眠中,受阻,或等待某个条件的形成

win7 64位系统中下载文件到u盘时卡住如何解决

  原因分析:如果下载比较大的文件,就很有可能会遇到这样的问题,因为大文件被下载到U盘之前,系统会检测U盘空间,而且会持续很长时间,另外,U盘的写入速度如果不理想,也非常有可能产生这种问题. 一.如果仅仅只是卡的话,具体方法如下: 1.首先将下载的文件先放在本地磁盘,然后压缩成小文件包,然后再放到U盘中. 2.重新换一个写入速度比较快的U盘. 二.如果是卡死的话,可以根据下面的方法进行排查: 1.检查一下U盘是不是已经满了,有时候U盘要满了,但是系统可能出错不会提示,就只会卡死,所以建议大家在下

使用Gnupg对Linux系统中的文件进行加密

GnuPG(GNU Privacy Guard或GPG)是一个以GNU通用公共许可证释出的开放源码用于加密或签名的软件,可用来取代PGP.大多数gpg软件仅支持命令行方式,一般人较难掌握.由于gpg软件开放源代码,很难隐藏后门,因此比pgp等商业软件安全. 1. 在实验机中创建alice和bob用户并设置密码 2. 切换到alice用户并生成密钥/公钥 3. 同样切换到bob用户也生成一遍 4. 将bob用户的公钥通过ASCII格式导出 5. 切换到用户alice然后导入bob的公钥并对文件进行