Python-request库的详细解析
引言
在现代网络应用中，与服务器进行通信是一个非常基础且重要的功能。Python的requests库是一个非常强大且易于使用的HTTP库，它允许我们发送HTTP请求，与Web服务进行交互。本文将详细介绍requests库的使用，包括其基本概念、常用功能以及一些高级用法。
安装requests库
在使用requests库之前，我们需要先安装它。可以通过pip命令来安装：
pip install requests
基本概念
HTTP请求方法
HTTP协议定义了几种请求方法，最常见的有：
- GET：从服务器获取资源。
- POST：向服务器提交数据，通常用于创建新资源。
- PUT：更新服务器上的资源。
- DELETE：删除服务器上的资源。
请求URL
URL（Uniform Resource Locator）是用于定位资源的字符串。例如：https://api.example.com/data。
请求头
请求头（Headers）包含了关于请求的元数据，例如内容类型、用户代理等。
请求体
请求体（Body）通常用于POST和PUT请求，包含要发送的数据。
基本用法
发送GET请求
发送GET请求是最简单的操作之一。以下是一个示例：
import requests
response = requests.get('https://api.github.com')
print(response.status_code) # 打印状态码
print(response.text) # 打印响应内容
发送POST请求
发送POST请求时，通常需要传递一些数据。以下是一个示例：
import requests
url = 'https://httpbin.org/post'
data = {'key': 'value'}
response = requests.post(url, data=data)
print(response.status_code) # 打印状态码
print(response.json()) # 打印JSON格式的响应内容
传递请求头
有时我们需要在请求中添加自定义的请求头。以下是一个示例：
import requests
url = 'https://api.github.com'
headers = {'User-Agent': 'my-app/0.0.1'}
response = requests.get(url, headers=headers)
print(response.status_code) # 打印状态码
print(response.text) # 打印响应内容
处理响应
状态码
响应的状态码表示请求的结果。常见的状态码有：
- 200：请求成功。
- 404：资源未找到。
- 500：服务器内部错误。
响应内容
响应内容可以是文本、JSON、二进制数据等。以下是一些示例：
import requests
response = requests.get('https://api.github.com')
# 获取文本内容
print(response.text)
# 获取JSON内容
print(response.json())
# 获取二进制内容
print(response.content)
响应头
响应头包含了关于响应的元数据。以下是一个示例：
import requests
response = requests.get('https://api.github.com')
print(response.headers)
高级用法详解
在掌握了requests库的基本用法之后，我们可以进一步探索其高级功能。这些高级功能可以帮助我们更灵活、更高效地处理复杂的HTTP请求场景。以下是对高级用法的详细说明。
1. 会话对象（Session Objects）
会话对象允许我们在多个请求之间保持某些参数，例如cookies、headers等。使用会话对象可以简化代码，提高效率。
示例：
import requests
# 创建一个会话对象
session = requests.Session()
# 更新会话的默认headers
session.headers.update({'User-Agent': 'my-app/0.0.1'})
# 发送第一个请求，设置一个cookie
response1 = session.get('https://httpbin.org/cookies/set/sessioncookie/123456789')
print(response1.text)
# 发送第二个请求，获取之前设置的cookie
response2 = session.get('https://httpbin.org/cookies')
print(response2.text)
在这个示例中，我们创建了一个会话对象，并在多个请求之间共享了headers和cookies。这样可以确保在多个请求之间保持一致的状态。
2. 处理重定向（Handling Redirects）
默认情况下，requests库会自动处理重定向。我们可以通过allow_redirects参数来控制是否允许重定向。
示例：
import requests
# 禁止重定向
response = requests.get('http://github.com', allow_redirects=False)
print(response.status_code) # 打印状态码
print(response.headers['Location']) # 打印重定向的URL
在这个示例中，我们发送了一个GET请求到http://github.com，并禁止了重定向。响应的状态码为301，表示请求被永久重定向，响应头中的Location字段包含了重定向的目标URL。
3. 超时设置（Timeout Settings）
在发送请求时，我们可以设置超时时间，以避免长时间的等待。超时时间可以应用于连接阶段和读取阶段。
示例：
import requests
from requests.exceptions import Timeout
try:
# 设置连接超时和读取超时
response = requests.get('https://httpbin.org/delay/10', timeout=(3, 5))
except Timeout:
print('The request timed out')
在这个示例中，我们设置了一个3秒的连接超时和5秒的读取超时。如果请求在3秒内未能建立连接或在5秒内未能读取到响应数据，就会抛出Timeout异常。
4. 代理支持（Proxy Support）
requests库支持通过代理发送请求。我们可以为不同的协议（HTTP、HTTPS）设置不同的代理。
示例：
import requests
# 设置代理
proxies = {
'http': 'http://10.10.1.10:3128',
'https': 'http://10.10.1.10:1080',
}
response = requests.get('https://httpbin.org/ip', proxies=proxies)
print(response.text)
在这个示例中，我们为HTTP和HTTPS请求分别设置了代理。通过代理发送请求可以隐藏客户端的真实IP地址，或者绕过某些网络限制。
5. 文件上传（File Uploads）
requests库支持上传文件。我们可以通过files参数来上传文件。
示例：
import requests
# 准备文件
files = {'file': open('report.xls', 'rb')}
# 上传文件
response = requests.post('https://httpbin.org/post', files=files)
print(response.text)
在这个示例中，我们上传了一个名为report.xls的文件。服务器会返回上传文件的相关信息。
6. 流式请求（Streaming Requests）
对于大文件或需要实时处理的响应，我们可以使用流式请求。这样可以避免一次性加载大量数据到内存中。
示例：
import requests
# 流式请求
response = requests.get('https://httpbin.org/stream/20', stream=True)
# 逐行读取响应内容
for line in response.iter_lines():
if line:
print(line)
在这个示例中，我们发送了一个流式请求，并逐行读取响应内容。这样可以有效地处理大文件或实时数据流。
7. 自定义身份验证（Custom Authentication）
requests库支持自定义身份验证。我们可以通过继承requests.auth.AuthBase类来实现自定义的身份验证逻辑。
示例：
import requests
from requests.auth import AuthBase
# 自定义身份验证类
class TokenAuth(AuthBase):
def __init__(self, token):
self.token = token
def __call__(self, r):
r.headers['Authorization'] = f'Bearer {self.token}'
return r
# 使用自定义身份验证发送请求
response = requests.get('https://httpbin.org/get', auth=TokenAuth('my-token'))
print(response.text)
在这个示例中，我们定义了一个名为TokenAuth的自定义身份验证类，并在发送请求时使用了这个类。这样可以灵活地实现各种身份验证逻辑。
8. 处理Cookies
requests库提供了方便的方法来处理Cookies。我们可以获取、设置和删除Cookies。
示例：
import requests
# 创建一个会话对象
session = requests.Session()
# 设置一个cookie
session.get('https://httpbin.org/cookies/set/sessioncookie/123456789')
# 获取所有cookies
cookies = session.cookies
print(cookies)
# 删除一个cookie
cookies.clear_expired_cookies()
print(cookies)
在这个示例中，我们通过会话对象设置了一个cookie，并获取和删除了cookies。这样可以方便地管理会话状态。
9. 处理SSL证书验证
requests库默认会验证SSL证书。我们可以通过verify参数来控制是否验证SSL证书。
示例：
import requests
# 禁用SSL证书验证
response = requests.get('https://httpbin.org', verify=False)
print(response.text)
在这个示例中，我们禁用了SSL证书验证。这样可以方便地测试不安全的HTTPS站点，但需要注意安全风险。
10. 自定义适配器（Custom Adapters）
requests库允许我们自定义适配器，以实现更复杂的请求逻辑。我们可以通过继承requests.adapters.HTTPAdapter类来实现自定义的适配器。
示例：
import requests
from requests.adapters import HTTPAdapter
# 自定义适配器
class MyAdapter(HTTPAdapter):
def send(self, request, **kwargs):
print(f'Sending request to {request.url}')
return super().send(request, **kwargs)
# 创建一个会话对象，并使用自定义适配器
session = requests.Session()
session.mount('https://', MyAdapter())
# 发送请求
response = session.get('https://httpbin.org/get')
print(response.text)
在这个示例中，我们定义了一个名为MyAdapter的自定义适配器，并在会话对象中使用了这个适配器。这样可以方便地实现自定义的请求逻辑。