Python中如何使用urllib3进行http请求 (一)
Urllib3是什么以及为什么使用它？
Urllib3是一个强大且用户友好的Python HTTP客户端。它被设计用来替代默认的Python库进行HTTP请求的urllib2。相比于urllib2，Urllib3具有许多优势，包括连接池、线程安全和对HTTP/1.1的支持。此外，Urllib3具有更直观的API，比urllib2更容易使用。总体而言，在Python中使用Urllib3可以大大简化进行HTTP请求的过程。
Urllib3的安装与设置
要安装Urllib3，您可以使用Python包管理器pip。打开终端或命令提示符，运行以下命令：
pip install urllib3
这将安装Urllib3的最新版本及其所有依赖项。安装完成后，可以在Python代码中开始使用Urllib3。
要在Python代码中使用Urllib3，您需要导入urllib3模块。以下示例显示了如何执行此操作：
import urllib3
http = urllib3.PoolManager()
此代码导入urllib3模块并创建一个新的PoolManager实例，用于进行HTTP请求。您可以使用此PoolManager实例进行HTTP请求，如下一节所述。
使用Urllib3进行HTTP请求的基本用法
要使用Urllib3进行基本的HTTP请求，可以使用您之前创建的PoolManager实例的request()方法。此方法将HTTP方法（例如GET、POST、PUT等）、URL和任何附加参数作为参数。
以下是使用request()方法进行GET请求以获取URL内容的示例：
import urllib3
http = urllib3.PoolManager()
response = http.request('GET', 'http://www.example.com')
# 打印响应的状态码
print(response.status)
# 打印服务器返回的数据
print(response.data)
在此示例中，使用GET方法和URL http://www.example.com调用了request()方法。这将向指定的URL发送GET请求，并返回包含服务器响应的Response对象。Response对象具有一个包含响应的HTTP状态码的status属性，以及包含服务器返回的数据的data属性。
您还可以使用request()方法进行其他类型的HTTP请求，例如POST、PUT、DELETE等。例如，以下代码演示了如何进行POST请求以将数据发送到服务器：
import urllib3
# 创建新的HTTP连接池
http = urllib3.PoolManager()
# 构建您的URL
url = 'https://www.example.com/api/v1/'
# 构建您的POST参数
payload = {
'param1': 'value1',
'param2': 'value2',
}
# 将POST参数编码为JSON对象
encoded_data = json.dumps(payload).encode('utf-8')
# 发起请求
response = http.request(
'POST',
url,
body=encoded_data,
headers={'Content-Type': 'application/json'},
)
# 处理响应
if response.status == 200:
# 成功！
data = json.loads(response.data.decode('utf-8'))
print(data)
else:
# 出现错误
print(response.status)
请确保将https://www.example.com/api/v1/替换为要发送请求的API端点的实际URL。此外，请调整payload字典，以包含您要在POST请求中发送的实际参数。
使用Urllib3进行HTTP请求的高级用法
以下是使用Urllib3进行HTTP请求的两个高级示例。
带请求头发送请求： 要在请求中发送附加标头，可以向request()方法传递一个包含您想要包含在请求中的标头名称和值的headers参数。例如：
# 创建新的HTTP连接池
http = urllib3.PoolManager()
# 构建您的URL
url = 'https://www.example.com/api/v1/'
# 构建您的POST参数
payload = {
'param1': 'value1',
'param2': 'value2',
}
# 将POST参数编码为JSON对象
encoded_data = json.dumps(payload).encode('utf-8')
# 在请求中包含附加标头
headers = {
'Content-Type': 'application/json',
'Authorization': 'Bearer abcdefghijklmnopqrstuvwxyz',
'X-Custom-Header': 'my-custom-value',
}
# 发起请求
response = http.request(
'POST',
url,
body=encoded_data,
headers=headers,
)
# 处理响应
if response.status == 200:
# 成功！
data = json.loads(response.data.decode('utf-8'))
print(data)
else:
# 出现错误
print(response.status)
处理HTTP重定向： 要处理可能重定向的情况，可以使用以下代码：
import urllib3
# 创建HTTP连接池
http = urllib3.PoolManager()
# 发起GET请求到可能进行重定向的URL
r = http.request('GET', 'http://www.example.com/')
# 检查响应的状态码
if r.status == 303:
# 如果状态码为303，则响应是重定向
# 从响应头中获取重定向的位置
location = r.headers['Location']
# 对重定向位置发起新的GET请求
r = http.request('GET', location)
# 此时，r将包含最终重定向的响应
此代码使用urllib3创建了一个HTTP连接池，然后发起了一个GET请求到给定的URL。如果响应的状态码为303，表示重定向，代码将从响应头中获取重定向的位置，并发起新的请求到该位置。最终的响应将存储在变量r中。
使用Urllib3进行身份验证和标头设置
以下是使用Urllib3进行身份验证和设置自定义标头的示例：
进行身份验证的例子：
import urllib3
# 创建HTTP连接池
http = urllib3.PoolManager()
# 设置身份验证凭据
auth_creds = urllib3.util.make_headers(basic_auth='username:password')
# 发起带有身份验证凭据的GET请求到URL
r = http.request('GET', 'http://www.example.com/', headers=auth_creds)
# 检查响应的状态码
if r.status == 200:
# 如果状态码为200，则请求成功
# 处理响应数据
response_data = r.data
设置自定义标头的例子：
import urllib3
# 创建HTTP连接池
http = urllib3.PoolManager()
# 设置自定义标头
custom_headers = {
'X-My-Custom-Header': 'value1',
'X-Another-Custom-Header': 'value2'
}
# 发起带有自定义标头的GET请求到URL
r = http.request('GET', 'http://www.example.com/', headers=custom_headers)
# 检查响应的状态码
if r.status == 200:
# 如果状态码为200，则请求成功
# 处理响应数据
response_data = r.data
此代码使用urllib3创建了一个HTTP连接池，然后使用urllib3.util中的make_headers函数设置了身份验证凭据。接着，它向给定的URL发起了带有身份验证凭据的GET请求，并在请求头中传递了身份验证凭据。如果响应的状态码为200，表示成功，代码可以处理响应数据。
请注意，此示例使用HTTP基本身份验证，其中用户名和密码合并为字符串（格式为username:password），并使用base64进行编码。其他类型的身份验证可能需要不同的方法。
总结
今天，我们主要学习了如何安装urllib3以及一些简单的请求操作，包括设置请求头和基本的用户认证。