成功解决wget下载报错 : wget HTTP request sent, awaiting response... 403 Forbidden

问题描述

–2023-07-15 02:32:57-- https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2023.03-Linux-x86_64.sh
Resolving mirrors.tuna.tsinghua.edu.cn (mirrors.tuna.tsinghua.edu.cn)… 2402:f000:1:400::2, 101.6.15.130
Connecting to mirrors.tuna.tsinghua.edu.cn (mirrors.tuna.tsinghua.edu.cn)|2402:f000:1:400::2|:443… connected.
HTTP request sent, awaiting response… 403 Forbidden
2023-07-15 02:32:57 ERROR 403: Forbidden.
如图：

解决方案

在wget下载链接前面加上一个-U，如下

wget -U NoSuchBrowser/1.0 https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2023.03-Linux-x86_64.sh

即

wget -U NoSuchBrowser/1.0 下载链接

成功解决！

原理

出现这个错误是因为在使用wget或curl请求资源时被服务器拒绝了，为了防止爬虫等消耗服务器资源，服务器根据你的请求头进行了选择性屏蔽，因此需要修改wget和curl的代理User-Agent来进行伪装。

什么是User Agent

User Agent中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。

常常要用server抓资料时，都会碰到直接使用wget和curl被服务器拒绝的状况。通常简单加个user-agent伪装一下就会过了。

什么是User Agent，怎么获取，可以参考下面这篇博客，当然你也可以直接用我上面这个。

什么是UserAgent以及使用浏览器查看UserAgent的方法：
https://blog.csdn.net/BobYuan888/article/details/88950275

解决

一、
修改wget的User-Agent
1、临时变更wget的UA

在wget前加上参数 -U，代表设置User Agent

wget www.google.com -U "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36"

2、永久变更Wget的UA

修改配置文件/etc/wgetrc，添加下面这一行：

header = User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36

上面这个配置后会所有用户生效，如果只需要当前用户生效，可以将上面这行添加进~/.wgetrc，这个文件如果没有的话可以手动创建。

二、修改curl的User-Agent
1、临时变更curl的UA

使用以下参数：

curl https://www.google.com --user-agent "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36"

2、永久变更curl的UA

修改配置文件~/.curlrc，添加下面这一行：

–user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36