通过12个实例掌握 linux wget 命令的使用

Linux 下的 wget 命令用于通过 HTTP、HTTPS 和 FTP 协议从 web 上下载文件。换句话说,我们可以说 wget 是 Linux 系统的非交互式命令行下载工具。它还支持通过 HTTP 代理下载文件。

这里的非交互式意味着它可以在后台工作,而用户没有登录。当我们进行 Linux 发行版的最小安装时,并没有安装 wget 命令,运行如下命令安装:

$ sudo yum install -y wget     // CentOS 7 / RHEL 7
$ sudo dnf install -y wget     // CentOS 8/ RHEL 8/ Rocky Linux 8
$ sudo apt install -y wget     // Ubuntu / Debian
$ sudo pacman -S wget          // Arch Linux
$ sudo zypper install wget     // OpenSUSE

在本教程中,我们将介绍 12 个有用的 wget 命令示例,这些示例将帮助您像专业人员一样使用 wget 命令。

1) 下载单个文件

要下载文件,只需键入 wget 命令后跟文件的绝对路径,示例如下

$ wget https://download.rockylinux.org/pub/rocky/8/isos/x86_64/Rocky-8.4-x86_64-minimal.iso

备注: 该命令将在用户当前工作目录下载 Rocky Linux 8 ISO 文件

2) 断点续传 (-c)

在某些情况下,我们下载一个大文件,但在中间网络被断开连接,使用 wget 命令中的 -c 选项,我们可以从断开连接的地方继续下载。示例如下

$ wget -c https://download.rockylinux.org/pub/rocky/8/isos/x86_64/Rocky-8.4-x86_64-minimal.iso

3) 在后台下载文件 (-b)

使用 wget 命令中的 -b 选项在后台下载文件。当文件太大而你想使用终端执行其他任务时,这个选项非常有用。

$ wget -b https://download.rockylinux.org/pub/rocky/8/isos/x86_64/Rocky-8.4-x86_64-dvd1.iso
Continuing in background, pid 4505.
Output will be written to ‘wget-log’.

As we can see above that downloading progress is capture in ‘wget-log’ file in user’s current directory. Use tail command to view status of download.

下载进度被记录在当前目录的 wget-log 文件中,使用 tail 命令查看下载状态。

$ tail -f wget-log
2300K .......... .......... .......... .......... .......... 0% 48.1K 18h5m
2350K .......... .......... .......... .......... .......... 0% 53.7K 18h9m
2400K .......... .......... .......... .......... .......... 0% 52.1K 18h13m
2450K .......... .......... .......... .......... .......... 0% 58.3K 18h14m
2500K .......... .......... .......... .......... .......... 0% 63.6K 18h14m
2550K .......... .......... .......... .......... .......... 0% 63.4K 18h13m
2600K .......... .......... .......... .......... .......... 0% 72.8K 18h10m
2650K .......... .......... .......... .......... .......... 0% 59.8K 18h11m
2700K .......... .......... .......... .......... .......... 0% 52.8K 18h14m
2750K .......... .......... .......... .......... .......... 0% 58.4K 18h15m
2800K .......... .......... .......... .......... .......... 0% 58.2K 18h16m
2850K .......... .......... .......... .......... .......... 0% 52.2K 18h20m

4) 限制下载速度

默认情况下,wget 命令尝试使用全带宽,但某些情况下,您正在使用共享互联网,所以如果您尝试使用 wget 下载大文件,这可能会减慢其他用户的网络连接。如果您使用 --limit-rate 选项限制下载速度,则可以避免这种情况。

$ wget --limit-rate=100k https://download.rockylinux.org/pub/rocky/8/isos/x86_64/Rocky-8.4-x86_64-dvd1.iso

5) 下载多个文件

如果您想使用 wget 命令下载多个文件,那么首先创建一个文本文件,并在该文本文件中添加所有下载地址,示例如下

$ cat download-list.txt
https://download.rockylinux.org/pub/rocky/8/isos/x86_64/Rocky-8.4-x86_64-dvd1.iso
https://releases.ubuntu.com/20.04.2.0/ubuntu-20.04.2.0-desktop-amd64.iso
https://download.opensuse.org/distribution/leap/15.3/iso/openSUSE-Leap-15.3-DVD-x86_64-Current.iso

运行如下命令,wget 命令将开始按顺序下载 ISO 文件

$ wget -i download-list.txt

6) 增加重试次数

默认情况下,wget 命令会重试20次,可以使用 --tries 选项来增加重试次数。

$ wget --tries=75 https://download.opensuse.org/distribution/leap/15.3/iso/openSUSE-Leap-15.3-DVD-x86_64-Current.iso

7) 重定向输出到日志文件

我们可以使用 -o 选项将 wget 命令输出重定向到日志文件,示例如下

$ wget -o download.log https://releases.ubuntu.com/20.04.2.0/ubuntu-20.04.2.0-desktop-amd64.iso

8) 下载整站

使用 wget 命令,我们可以下载完整的网站以供本地查看,语法如下

$ wget --mirror -p --convert-links -P ./ website-URL

选项如下

  • –mirror : 打开适合镜像的选项
  • -p : 下载正确显示给定 HTML 页面所需的所有文件
  • –convert-links : 转换文档中的链接以供本地查看
  • -P ./Local-Folder : 将所有文件和目录保存到指定目录下

9) 下载时拒绝文件类型

当下载整站时,我们可以使用 --reject 选项强制不下载图片。

$ wget --reject=png 

10) 设置下载配额

使用 -Q 选项设置下载配额,当下载大小超标时,强制 wget 命令停止下载。

$ wget -Q10m -i download-list.txt

注意:配额永远不会影响下载单个文件,即使在命令行上指定了几个 URL,也是如此。仅在递归检索或从输入文件中检索配额才能起作用,因此 wget -Q10m -i download-list.txt 在超过配额时下载将被中止。

11) 从密码保护网站下载文件

语法如下

$ wget --ftp-user= --ftp-password= Download-URL
or 
$ wget --user  --password  http:///file_to_be_downloaded

Another way to specify username and password is in the URL itself.

也可以在 URL 中指定用户名和密码

为了防止密码被看到,将它们存储在 .wgetrc 或 .netrc 文件中,并确保用 chmod 保护这些文件不受其他用户的影响。如果密码真的很重要,不要把它们放在这些文件中,或者在 wget 开始下载后编辑文件并删除它们。

12) 跳过证书检查下载文件

在某些情况下,我们希望从 https 端口下载文件,并希望跳过证书检查,因此可以使用 wget 命令中的 no-check-certificate 选项来完成

$ wget https://about.gitlab.com/ --no-check-certificate

使用 wget 命令从 https 门户下载 Oracle Java,跳过证书检查

$ wget --header "Cookie: oraclelicense=accept-securebackup-cookie" https://download.oracle.com/otn-pub/java/jdk/12.0.1+12/69cfe15208a647278a19ef0990eea691/jdk-12.0.1_linux-x64_bin.rpm --no-check-certificate

通过代理下载文件

有一些情况下,我们的系统运行在代理服务器之后,所以在这种情况下,我们首先需要设置代理,然后我们可以使用 wget 命令从互联网下载文件。要在命令行上设置代理,请使用以下变量和 export 命令

$ export http_proxy=http://:
$ export https_proxy=http://:
$ export ftp_proxy=http://:

如果代理工作需要用户名和密码,则使用以下方法

$ export http_proxy=http://:@:
$ export https_proxy=http://:@:
$ export ftp_proxy=http://:@:

使用单个 wget 命令下载并提取 tar 文件

Let’s suppose we want to download latest version of WordPress tar
file and want to extract it under specific folder like /var/www/html,
so to accomplish this task using below wget command,

假设我们要下载最新版本的 WordPress tar 文件并希望在特定文件夹中提取它,例如 /var/www/html,可以使用以下命令来完成此任务

# wget -q -O - http://wordpress.org/latest.tar.gz | tar -xzf - --strip-components=1 -C /var/www/html

我的开源项目

酷瓜云课堂-开源知识付费解决方案

你可能感兴趣的:(linuxwget)