爬虫学习打卡第三天——requests高阶

今天学习requests高阶知识

目录

一、SSL验证

二、代理设置

三、超时设置

四、身份认证

五、总结

---

一、SSL验证

SSL认证是指客户端到服务器端的认证。主要用来提供对用户和服务器的认证；对传送的数据进行加密和隐藏；确保数据在传送中不被改变，即数据的完整性。（来自百度）

以百度为例：先简单的请求一下

import requests
response = requests.get('https://www.baidu.com')
print(response.status_code)#输出请求状态码

 

可以看返回了请求状态码为200，即请求成功

当你出现SSLError报错时

表示证书验证错误，添加verify参数并设置为 False 即可：

 这里出现了报错，它需要我们添加证书，当然我们可以设置忽略警告来屏蔽这个警告

或者通过捕获警告到日志的方式忽略警告

二、代理设置

proxies 参数

正常情况下当我们进行大规模爬取一个网站时，由于请求次数过多，网站会记录你的IP，阻止你的请求，甚至封禁你的IP，导致一定时间段内无法访问。

此时我们可以设置代理来解决这个问题，其中就用到了proxies 参数

import requests
proxies = {
  'http': '你所购买的代理IP和当前端口',
  'https': '同上',
}
requests.get('https://www.taobao.com', proxies=proxies)

当然IP需要自己去购买使用。

三、超时设置

在本机网络状况不好或者服务器网络响应太慢甚至无响应时，我们可能会等待特别久的时间才可能收到响应，甚至到最后收不到响应而报错。为了防止服务器不能及时响应，应该设置一个超时时间，即超过了这个时间还没有得到响应，那就报错。这需要用到 timeout 参数。这个时间的计算是发出请求到服务器返回响应的时间

import requests
response = requests.get('https://www.baidu.com', timeout=1)
print(response.status_code)

如果如果 1 秒内没有响应，就会出现异常。

此时我们也可以对异常进行处理，使用try来重新请求

四、身份认证

有时候爬取网站会间断需要我们进行身份认证。此时就可以使用 requests 自带的身份认证功能并加上proxies 参数，避免SSL报错

import requests  
from requests.auth import HTTPBasicAuth  
r = requests.get('https://www.baidu.com', auth=HTTPBasicAuth('你的用户名', '密码'),verify=False)  
print(r.status_code)

也可以简写为

import requests
r = requests.get('https://www.baidu.com', auth=('你的用户名', '密码'))
print(r.status_code)

还有另一种非常流行的HTTP身份认证形式是摘要式身份认证Digest Authentication

import requests
from requests.auth import HTTPDigestAuth  
url = 'www.baidu.com'  
requests.get(url, auth=HTTPDigestAuth('你的用户名', '密码'))  

五、总结

在实战中会遇到许多的反扒，我们可以通过requests的许多功能来解决，获取cookies，头请求等等。慢慢学习会感受到爬虫的乐趣。