wget 详解

wget 详解

  • wget 详解
      • 基本用法:
      • 命令参数:
      • 递归下载:
      • 断点续传:
      • 限速下载:
      • 后台下载:
    • 示例

wget 详解

wget(Web Get)是一个用于从网络上下载文件的命令行工具,常用于在 Linux 和类Unix系统中。它支持HTTP、HTTPS和FTP等协议,能够递归下载、断点续传、限速下载等功能,使其成为一个强大而灵活的下载工具。下面是一些 wget 的常见用法和功能:

基本用法:

命令格式:

wget [options] [URL]
  1. 下载文件:wget URL,将从给定的URL下载文件。
  2. 下载到指定目录:wget URL -P /path/to/directory,将文件下载到指定目录。

命令参数:

以下是 wget 常用的参数分类:

启动参数:

  • -V, --version: 显示 wget 版本信息。
  • -h, --help: 显示帮助信息。
  • -b, –background, 启动后转入后台执行。
  • -e, –execute=COMMAND, 执行`.wgetrc’格式的命令,wgetrc格式参见/etc/wgetrc或~/.wgetrc。

记录和输入文件参数:

  • -o, --output-file=FILE: 将日志信息写入指定文件。

  • -a, --append-output=FILE: 将日志信息追加到指定文件。

  • -d, –debug, 打印调试输出。

  • -q, –quiet, 安静模式(没有输出)

  • -v, –verbose, 冗长模式(这是缺省设置)

  • -nv, –non-verbose 关掉冗长模式,但不是安静模式。

  • -i, –input-file=FILE 下载在FILE文件中出现的URLs

  • -F, –force-html 把输入文件当作HTML格式文件对待

  • -B, –base=URL 将URL作为在-F -i参数指定的文件中出现的相对链接的前缀

    sslcertfile=FILE 可选客户端证书

    –sslcertkey=KEYFILE 可选客户端证书的KEYFILE

    –egd-file=FILE 指定EGD socket的文件名

下载参数:

  • -N, --timestamping: 如果本地文件存在且时间戳较新,则不重新下载文件。
  • -nc, --no-clobber: 不覆盖已存在的文件。
  • -c, --continue: 断点续传,从上次下载停止的地方继续下载。
  • -P, --directory-prefix=PREFIX: 指定文件保存的目录前缀。
  • -O, --output-document=FILE: 将下载的文件保存为指定的文件名。
  • --limit-rate=RATE: 限制下载速率,例如 --limit-rate=100k 表示限制下载速率为100KB/s。

目录参数:

  • -nd, --no-directories: 不创建目录,将所有文件保存在当前目录。
  • -x, --force-directories: 强制创建目录,保持远程服务器的目录结构。
  • -nH, --no-host-directories: 不创建主机名目录。

HTTP 选项参数:

  • --http-user=USER: 指定 HTTP 用户名。
  • --http-passwd=PASS: 指定 HTTP 密码。
  • --header=STRING: 在 HTTP 请求头中添加自定义字符串。
  • --referer=URL: 在 HTTP 请求中包含 Referer 头。

FTP 选项参数:

  • --ftp-user=USER: 指定 FTP 用户名。
  • --ftp-passwd=PASS: 指定 FTP 密码。
  • --passive-ftp: 使用被动 FTP 模式。
  • --active-ftp: 使用主动 FTP 模式。

递归下载参数:

  • -r, --recursive: 递归下载,下载指定 URL 及其链接中的所有文件。
  • -l, --level=NUMBER: 限定递归深度。
  • -k, --convert-links: 转换非相对链接为相对链接,便于本地浏览。

递归下载中的包含和不包含(accept/reject):

  • -A, --accept=LIST: 仅下载匹配列表中扩展名的文件。
  • -R, --reject=LIST: 排除下载匹配列表中扩展名的文件。

其他参数:

  • -t, --tries=NUMBER: 设定最大尝试链接次数。
  • -T, --timeout=SECONDS: 设定响应超时的秒数。
  • -w, --wait=SECONDS: 两次尝试之间的等待时间。
  • --waitretry=SECONDS: 在重新链接之间等待的时间。
  • --random-wait: 在下载之间随机等待一段时间。

以上仅是一些常见的 wget 命令参数和选项的解释。根据需要,可以选择适当的参数来定制 wget 的下载行为。可以使用 man wget 命令在终端中查看完整的 wget 手册页,以获取更详细的信息。

递归下载:

wget 支持递归下载整个网站或目录。

  1. 递归下载整个网站:wget --recursive URL,会下载网站中所有链接的文件。
  2. 递归下载并限制深度:wget --recursive --level=depth URL,下载链接并限制下载深度。
  3. 排除某些文件类型:wget --recursive --reject=txt URL,排除指定文件类型。

断点续传:

wget 可以在下载中断后继续下载,而无需重新下载整个文件。

  1. 断点续传:wget --continue URL,会继续上次未完成的下载。

限速下载:

你可以限制下载速度,以防止过多占用带宽。

  1. 限制下载速度:wget --limit-rate=100k URL,限制下载速度为100KB/s。

后台下载:

如果你想让下载在后台进行,可以使用 nohup 命令。

  1. 后台下载:nohup wget URL &,将下载在后台进行,不会受到终端关闭的影响。

这些只是 wget 命令的一些用法示例。wget 还有许多其他选项和功能,你可以使用 man wget 命令在终端中查看完整的手册页面,了解更多详细信息。

示例

实例1:使用 wget 下载单个文件:

wget http://example.com/file.txt

实例2:使用 wget -O 下载并以不同的文件名保存:

wget -O output.txt http://example.com/file.txt

实例3:使用 wget --limit-rate 限速下载:

wget --limit-rate=100k http://example.com/large-file.zip

实例4:使用 wget -c 断点续传:

wget -c http://example.com/large-file.zip

实例5:使用 wget -b 后台下载:

wget -b http://example.com/large-file.zip

实例6:伪装代理名称下载:

wget --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3" http://example.com/file.txt

实例7:使用 wget --spider 测试下载链接:

wget --spider http://example.com/file.txt

实例8:使用 wget --tries 增加重试次数:

wget --tries=3 http://example.com/unstable-file.zip

实例9:使用 wget -i 下载多个文件:

wget -i urls.txt

其中,urls.txt 包含要下载的多个URL。

实例10:使用 wget --mirror 镜像网站:

wget --mirror http://example.com/

实例11:使用 wget --reject 过滤指定格式下载:

wget --reject=jpg,png http://example.com/images/

实例12:使用 wget -o 将下载信息存入日志文件:

wget -o download.log http://example.com/large-file.zip

实例13:使用 wget -Q 限制总下载文件大小:

wget -Q100m http://example.com/large-file.zip

实例14:使用 wget -r -A 下载指定格式文件:

wget -r -A pdf http://example.com/documents/

实例15:使用 wget 进行 FTP 下载:

wget ftp://example.com/file.txt

实例16:下载文件并保留远程文件名:

wget --content-disposition http://example.com/download/file.zip

实例17:下载文件并跳过 SSL 验证:

wget --no-check-certificate https://example.com/secure-file.zip

实例18:下载并使用代理服务器:

wget --proxy=http://proxy.example.com:8080 http://example.com/file.txt

实例19:限制递归下载深度:

wget --recursive --level=2 http://example.com/

实例20:排除下载指定链接:

wget --recursive --reject=gif,png,jpg http://example.com/images/

实例21:同时下载多个文件并使用通配符:

wget http://example.com/file[1-5].txt

实例22:从链接文件下载多个文件:

如果有一个 urls.txt 文件,包含多个下载链接,可以使用以下命令:

wget -i urls.txt

实例23:从用户名和密码保护的目录下载文件:

wget --http-user=username --http-password=password http://example.com/protected/file.txt

实例24:使用 wget 下载并解压文件:

wget http://example.com/archive.tar.gz && tar -zxvf archive.tar.gz

实例25:使用 wget 下载并解压压缩包到指定目录:

wget http://example.com/archive.tar.gz -O - | tar -zxvf - -C /path/to/directory

实例26:使用 wget 下载文件并指定本地绑定地址:

wget --bind-address=192.168.1.2 http://example.com/file.txt

实例27:使用 wget 设定最大尝试链接次数:

wget -t 5 http://example.com/file.txt

实例28:使用 wget 将文件写入指定文件:

wget -O output.txt http://example.com/file.txt

实例29:使用 wget 不覆盖已存在文件:

wget -nc http://example.com/file.txt

实例30:使用 wget 接着下载未完成的文件:

wget -c http://example.com/large-file.zip

实例31:使用 wget 显示下载进度条:

wget --progress=bar http://example.com/file.txt

实例32:使用 wget 设定响应超时时间:

wget -T 30 http://example.com/file.txt

实例33:使用 wget 两次尝试之间间隔等待时间:

wget -w 5 http://example.com/file.txt

实例34:使用 wget 在重新链接之间等待指定时间:

wget --waitretry=10 http://example.com/file.txt

实例35:使用 wget 在下载之间随机等待一段时间:

wget --random-wait http://example.com/file.txt

实例36:使用 wget 打开代理:

wget --proxy=on http://example.com/file.txt

实例37:使用 wget 设定下载容量限制:

wget -Q 100M http://example.com/large-file.zip

你可能感兴趣的:(macos,wget,linux)