Python网络爬虫：使用Requests库精通网络请求
源码分享
https://docs.qq.com/sheet/DUHNQdlRUVUp5Vll2?tab=BB08J2
网络爬虫依赖于强大的库来处理HTTP请求，而Python的Requests库是构建网络爬虫时的首选工具之一。本篇博客将向你介绍如何使用Requests库来发送HTTP请求，并通过具体的代码案例来演示其功能和强大之处。
介绍Requests库
Requests是一个简单而优雅的HTTP库，它允许你以人类可读的方式发送HTTP/1.1请求。无需手动添加查询字符串到URL，或者表单编码POST数据 —— Requests库会自动处理这些操作。
安装Requests库
在开始之前，确保你已经安装了Requests库，如果没有，可以通过pip进行安装：
pip install requests发送简单的GET请求
最基础的操作是发送一个GET请求到一个网页，让我们从这里开始。
import requests
response = requests.get('https://httpbin.org/get')
print(response.text)以上代码会获取https://httpbin.org/get的内容，并打印出来。
添加查询参数
如果你需要发送带参数的GET请求，Requests让这变得非常简单。
payload = {'key1': 'value1', 'key2': 'value2'}
response = requests.get('https://httpbin.org/get', params=payload)
print(response.url)Requests会将参数字典转换为URL编码的查询字符串。
发送POST请求
发送POST请求同样简单，如果你想发送一些编码为表单形式的数据，可以这样做：
payload = {'key1': 'value1', 'key2': 'value2'}
response = requests.post('https://httpbin.org/post', data=payload)
print(response.text)Requests会自动将字典编码为表单格式。
处理响应内容
Requests可以帮你处理JSON响应内容，无需手动解析JSON。
response = requests.get('https://httpbin.org/get')
if response.status_code == 200:
data = response.json()
print(data)response.json()方法会解析JSON响应内容并返回一个字典。
定制请求头
你可以发送自定义的HTTP头部到服务器，这在处理爬虫时非常有用，例如模拟浏览器发送请求。
headers = {'user-agent': 'my-app/0.0.1'}
response = requests.get('https://httpbin.org/get', headers=headers)
print(response.text)使用会话保持Cookies
如果需要在请求之间保持某些状态（比如Cookies），你可以使用Session对象。
s = requests.Session()
s.get('https://httpbin.org/cookies/set/sessioncookie/123456789')
response = s.get('https://httpbin.org/cookies')
print(response.text)会话可以保持Cookie跨请求。
处理超时
我们通常希望对爬虫的请求时间有所限制，以保证程序不会因为等待一个响应而卡住。
from requests.exceptions import Timeout
try:
response = requests.get('https://httpbin.org/delay/2', timeout=1)
print(response.text)
except Timeout:
print('The request timed out')timeout参数告诉Requests最多等待多少秒。
总结
Requests库是构建Python爬虫的有力工具，它简化了HTTP请求的发送与处理。本文介绍了发送GET和POST请求、处理响应、定制请求头、使用会话及处理超时等基础知识，为你的爬虫之旅奠定了坚实基础。