Linux中使用wget进行下载的方法

   使用举例:

  1、下载单个文件

  代码如下:

  $ wget http://osmond.cn/cdbe/CDBE.zip

  2、以续传方式后台下载单个文件

  代码如下:

  $ wget -bc http://ftp.hostrino.com/pub/centos/5.0/isos/i386/CentOS-5.0-i386-bin-

  3、只下载单一HTML文件,确保影响着页面显示的所有元素均被下载,并重新建立链接

  代码如下:

  $ wget -p -k http://osmond.cn/cdbe/manual/index.html

  4.下载www.xxx.org/pub/path/整个目录

  代码如下:

  wget -c -r -np -k -L -p www.xxx.org/pub/path/

  在下载时。有用到外部域名的图片或连接。如果需要同时下载就要用-H参数。

  代码如下:

  wget -np -nH -r --span-hosts www.xxx.org/pub/path/

  -c 断点续传

  -r 递归下载,下载指定网页某一目录下(包括子目录)的所有文件

  -nd 递归下载时不创建一层一层的目录,把所有的文件下载到当前目录

  -np 递归下载时不搜索上层目录,如wget -c -r www.xxx.org/pub/path/

  没有加参数-np,就会同时下载path的上一级目录pub下的其它文件

  -k 将绝对链接转为相对链接,下载整个站点后脱机浏览网页,最好加上这个参数

  -L 递归时不进入其它主机,如wget -c -r www.xxx.org/

  如果网站内有一个这样的链接:

  www.yyy.org,不加参数-L,就会像大火烧山一样,会递归下载www.yyy.org网站

  -p 下载网页所需的所有文件,如图片等

  -A 指定要下载的文件样式列表,多个样式用逗号分隔

  -i 后面跟一个文件,文件内指明要下载的URL

  5、下载整个网站做本地镜像网站 http://www.xyz.edu.cn 的内容

  代码如下:

  $ wget –m –l4 -t0 http://www.xyz.edu.cn

  或者

  代码如下:

  wget -r -p -np -k http://dsec.pku.edu.cn/~usr_name/

  6、只下载网站指定的目录,避免向远程主机的其他目录扩散,并拒绝下载gif和jpg文件

  代码如下:

  $ wget -r –L -R gif,jpg http://www.xyz.edu.cn/doc/

  7、递归下载 http://www.xyz.edu.cn 下的 blog 和 wiki 目录并将文件后缀存为html

  代码如下:

  $ wget -r -k -p -np -E -I blog,wiki http://www.xyz.edu.cn

  8、递归下载 http://ayo.freshrpms.net/redhat/9/i386/updates/RPMS 的所有文件到当前目录

  代码如下:

  $ wget -r -nH -nd http://ayo.freshrpms.net/redhat/9/i386/updates/RPMS

  9、批量下载(首先将每个要下载文件的URL写一行,生成文件 download.txt)

  代码如下:

  $ wget -i download.txt -o download.log

  10、使用代理下载

  代码如下:

  $ wget -Y -i download.txt -o download.log

  代理可以在环境变量或wgetrc文件中设定

  如何设置代理

  代码如下:

  # 在环境变量中设定代理

  export PROXY=http://214.97.161.94:80/

  # 在~/.wgetrc中设定代理

  http_proxy = http://214.97.161.94:80/

  ftp_proxy = http://214.97.161.94:80/

  11.* 在不稳定的网络上下载一个部分下载的文件,以及在空闲时段下载

  代码如下:

  wget -t 0 -w 31 -c http://dsec.pku.edu.cn/BBC.avi -o down.log &

  # 或者从filelist读入要下载的文件列表

  wget -t 0 -w 31 -c -B ftp://dsec.pku.edu.cn/linuxsoft -i filelist.txt -o

  down.log &

时间: 2024-10-27 14:15:35

Linux中使用wget进行下载的方法的相关文章

Linux中修改环境变量及生效方法_Linux

在/etc/profile文件中添加变量[对所有用户生效(永久的)] 用VI在文件/etc/profile文件中增加变量,该变量将会对Linux下所有用户有效,并且是"永久的". 要让刚才的修改马上生效,需要执行以下代码 source /etc/profile 以上这篇Linux中修改环境变量及生效方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持. 以上是小编为您精心准备的的内容,在的博客.问答.公众号.人物.课程等栏目也有的相关内容,欢迎继续使用右上角搜索

linux中bash: wget: command not found问题解决方法

一般linux最小化安装时,wget不会默认被安装. 提示bash: xx command not found. 那么,首先就要考虑root 的$PATH里是否已经包含了这些环境变量(可能是我安装的时候选择了"最小安装",导致一些功能没开启). 如果新装的系统,运行一些很正常的诸如:shutdown,fdisk的命令时,悍然提示:bash:command not found.那么 首先就要考虑root 的$PATH里是否已经包含了这些环境变量. 主要是这四个:/bin ,/usr/bi

win2008中限制使用迅雷下载的方法[软件策略]_win服务器

这不,巧妙对windows server 2008系统的组策略功能进行深入挖掘,我们可以发现许多安全应用秘密;现在本文就为各位朋友贡献几则这样的安全秘密,希望能对大家有用! 1.限制使用迅雷进行恶意下载 在多人共同使用相同的一台计算机进行工作时,我们肯定不希望普通用户随意使用迅雷工具进行恶意下载,这样不但容易浪费本地系统的磁盘空间资源,而且也会大大消耗本地系统的上网带宽资源.而在windows server 2008系统环境下,限制普通用户随意使用迅雷工具进行恶意下载的方法有很多,例如可以利用w

linux中查看mysql数据库版本号的方法

1:在终端下:mysql -V. 以下是代码片段: [shengting@login ~]$ mysql -V 2:在mysql中:mysql> status;   以下是代码片段: mysql> status; 3:在help里面查找 以下是代码片段: [shengting@login ~]$ mysql –help | grep Distrib 4:使用mysql的函数 以下是代码片段: mysql> select version(); 小提醒,使用mysql命令就必须在mysql登

Linux中使用wget下载https类型文件报错解决方法

般我们远程调用下载文件直接用wget就可以,一般文件路径类型是http.如果有遇到是https就会下载出错,稍微不注意的新手朋友可能还认为是数据源出现问题.因为大脑不好用,所以刚才在有遇到这样问题的时候老左就顺带做一个记录,以便下次遇到这样的问题,以及有遇到同类问题的网友可以参照使用. 出现的错误大同小异类似上面的界面演示一样.其实我们仔细根据提示可以解决问题,只需要在wget后面加上--no-check-certificate就可以,需要一个认证下载指令而已. 比如我们可以修改成:  代码如下

【Linux】Linux下使用wget 命令下载JDK7的方法

转载请注明出处:http://blog.csdn.net/qq_26525215 本文源自[大学之旅_谙忆的博客] 前几天去阿里云买了学生特权的云服务器. 现在下载JDK的时候遇到了麻烦, 输入命令: wget http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.rpm 下载下来后,文件大小是8K-8K- 后来想到,应该是做了什么防护吧,监控网络,发现有cookie防护. 于是把命令改成: wget -c

Linux中Kill进程的N种方法

常规篇: 首先,用ps查看进程,方法如下: $ ps -ef -- smx       1822     1  0 11:38 ?        00:00:49 gnome-terminal smx       1823  1822  0 11:38 ?        00:00:00 gnome-pty-helper smx       1824  1822  0 11:38 pts/0    00:00:02 bash smx       1827     1  4 11:38 ?    

linux中PHP 5.6编译安装方法(支持ORACLE/MARIADB数据库)

大多数phper编译php的时候,的模式都很固定,简单的支持一些常见拓展 支持mysql就够了,而且这些phper们偏爱php5.2 php5.3 连php5.4都很少,很不愿意尝试编译新的版本,以后就固定用这个版本,用固定的编译代码.这样虽然很安全.但是我们应该开拓创新. 环境:Linux CentOS 7 PHP版本:php 5.6.1 目的:支持MariaDB(Mysql), Oracle数据库拓展 以及支持常用拓展组件 事先安装好了MariaDB,MariaDB跟Mysql差不多,此处不

linux中Vim查找和替换的方法

总有人问我 Vim 中能不能查找,当然能!而且是超级强的查找! 这篇文章来详细介绍 Vim 中查找相关的设置和使用方法. 包括查找与替换.查找光标所在词.高亮前景/背景色.切换高亮状态.大小写敏感查找等. 查找 在normal模式下按下/即可进入查找模式,输入要查找的字符串并按下回车. Vim会跳转到第一个匹配.按下n查找下一个,按下N查找上一个. Vim查找支持正则表达式,例如/vim$匹配行尾的"vim". 需要查找特殊字符需要转义,例如/vim\$匹配"vim$&quo