详解Linux系统中wget的使用方法

乐清SEO_开发应用_linux_ 乐清SEO2021-04-09 转载自:

功能说明: wget使用 HTTP 和 FTP 协议,支持代理服务器和断点续传,是基于控制台最强大的下载工具。
命令格式: wget [参数] <URL>
常用参数:
1. 启动选项:
-V : 显示 wget 的版本
-h : 显示 wget 的使用说明
-b : 启动之后转入后台执行,日志文件写在当前目录下”wget-log”文件中
-e <COMMAND> : 执行一个 .wgetrc 里面的 <COMMAND> 指令
2. 日志文件与输入文件选项:
-o <FILE> : 将命令的输出写入指定的 <FILE> 文件
-a <FILE> : 将命令的输出以追加方式写入指定的 <FILE> 文件
-d : 显示调试信息
-q : 以安静模式执行(无输出)
-v : 输出详细信息
-nv : 关闭详细信息输出,但不是安静模式
-i <FILE> : 从指定的 <FILE> 文件中读取 URL
-F : 把输入文件视为 HTML 文件(与 -i 参数同时使用)
-B <URL> : 与 -F 一同使用,优先考虑 -i 所指定文件中的 URL
3. 下载选项:
-t <NUMBER> : 当wget无法与服务器建立连接时,尝试连接<NUMBER>次,(0表示无限制)
-O <FILE> : 将下载的文件保存为指定的 <FILE>
-nc : 不覆盖已有的文件
-c : 续传文件
-N : 不取回比本地旧的文件,只下载更新的文件
-S : 显示服务器响应
-T <SECONDS> : 设定响应超时的秒数为 <SECONDS>
-w <SECONDS> : 在两次尝试之间等待 <SECONDS> 秒
-Y : 通过代理服务器进行连接
-Q <quota> : 限制下载文件的总大小最多不能超过 <quota>,单位为字节,可以使用 k,m 后缀
––limit-rate=<RATE> : 限定下载传输率,单位为字节,可以使用 k,m 后缀
4. 目录选项:
-nd : 不下载目录结构,把从服务器所有指定目录下载的文件都堆到当前目录里
-x : 创建与远程完全一直的目录结构
-nH : 不创建以目标主机域名为目录名的目录,将目标主机的目录结构直接下到当前目录下
-P <PREFIX> : 将文件保存到目录 PREFIX/…
––cut-dirs=<NUMBER> : 忽略 <NUMBER> 层远程目录
5. HTTP 选项:
––http-user=<USER> : 指定 HTTP 用户验证的用户
––http-passwd=<PASS> : 指定 HTTP 用户验证的用户口令
––no-cache : 禁用服务器端的数据缓存 (默认情况下为允许)

-C, –cache=on/off 允许/不允许服务器端的数据缓存 (一般情况下允许).
-E, –html-extension 将所有text/html文档以.html扩展名保存
–ignore-length 忽略 `Content-Length'头域
–header=STRING 在headers中插入字符串 STRING
––proxy-user=<USER> : 指定 Proxy 使用者为 <USER>
––proxy-passwd=<PASS> : 指定 Proxy 使用者口令为 <PASS>
-E : 将所有类型为 application/xhtml+xml 或 text/html 的文档以 .html 扩展名保存
-U <AGENT> : 设定代理的名称为 <AGENT> 而不是 Wget/VERSION

–referer=URL 在HTTP请求中包含 `Referer: URL'头
-s, –save-headers 保存HTTP头到文件
-U, –user-agent=AGENT 设定代理的名称为 AGENT而不是 Wget/VERSION.
–no-http-keep-alive 关闭 HTTP活动链接 (永远链接).
–cookies=off 不使用 cookies.
--load-cookies=FILE 在开始会话前从文件 FILE中加载cookie
–save-cookies=FILE 在会话结束后将 cookies保存到 FILE文件
6. FTP 选项:
––ftp-user=<USER> : 指定 FTP 用户
––ftp-passwd=<PASS> : 指定 FTP 用户口令
––no-remove-listing : 不移除临时的 .listing 文件
––no-glob : 关闭文件名的 globbing 机制(即不使用通配符)

–passive-ftp 使用被动传输模式 (缺省值).
–active-ftp 使用主动传输模式
––no-passive-ftp : 关闭默认的被动传输模式(即使用主动传输模式)
––retr-symlinks : 在递归时,将链接指向文件(而不是目录)
7. 使用递回方式获取选项:
-r : 打开递归下载
-l <NUMBER> : 指定最大递归深度为 <NUMBER> (inf 或 0 代表无穷)
––delete-after : 删除下载完毕的本地文件
-k : 转换非相对链接为相对链接

-K  (大写), –backup-converted 在转换文件X之前,将之备份为 X.orig
-m : 开启适合用来镜像的选项,等价于 -N -r -l inf ––no-remove-listing
-p : 用以确保所有用于显示被下载网页的元素都被下载,如:图像,声音以及网页中用到的样式表
8. 递回方式的允许与拒绝选项:
-A <LIST> : 在 <LIST> 指定允许下载的扩展文件名(用逗号间隔)
-R <LIST> : 在 <LIST> 指定禁止下载的扩展文件名(用逗号间隔)
-D <LIST> : 在 <LIST> 指定允许下载的域名
––exclude-domains=<LIST> : 在 <LIST> 指定禁止下载的域名
––follow-ftp : 跟踪 HTML 文档中的 FTP 链接
––follow-tags=<LIST> : 在 <LIST> 中指定用逗号分隔的被跟踪的HTML标签列表
––ignore-tags=<LIST> : 在 <LIST> 中指定用逗号分隔的不被跟踪的HTML标签列表

-G, –ignore-tags=LIST 分号分隔的被忽略的HTML标签的列表
-H : 当递归时转到外部主机
-L : 仅仅跟踪相对链接
-I <LIST> : 在 <LIST> 指定允许下载的目录列表
-X <LIST> : 在 <LIST> 指定禁止下载的目录列表
-np : 不要追溯到父目录,即只下载目标站点指定目录及其子目录的内容.