urllib3

创建请求

import urllib3

# 创建PoolManager 实例来处理http请求, 该poolmanager处理所有的连接池细节和线程安全事宜.
http = urllib3.PoolManager()

# request()返回一个HTTPResponse对象 .
r = http.request('GET', 'http://httpbin.org/robots.txt')

处理响应内容 Response content

HTTPResponse对象提供 status、data 和 header属性。

json内容

data属性可以被转换为json对象：

>>> import json
>>> r = http.request('GET', 'http://httpbin.org/ip')
>>> json.loads(r.data.decode('utf-8'))
{'origin': '127.0.0.1'}

http.request( method , url, fileds, headers , **kw)

cookie 设置 :

cookie 设置在headers中 , 如:

headers = {
'Cookie': 'JSESSIONID=scc7mqk00akn1jw6ih80la6re'
}

代理设置

直接使用 ProxyManager

>>> import urllib3
>>> proxy = urllib3.ProxyManager('http://localhost:3128/')
>>> proxy.request('GET', 'http://google.com/')

ProxyManager的使用同PoolManager .

SOCKS4 SOCKS5 代理

使用SOCKSProxyManager 来使用SOCKS代理.
需要安装 PySocks 或安装带socks的urllib3 , pip install urllib3[socks]

>>> from urllib3.contrib.socks import SOCKSProxyManager
>>> proxy = SOCKSProxyManager('socks5://localhost:8889/')
>>> proxy.request('GET', 'http://google.com/')

查询参数

使用 GET HEAD DELETE请求方法时, 直接将参数以字典的形式传递给fields:

>>> r = http.request(
...     'GET',
...     'http://httpbin.org/get',
...     fields={'arg': 'value'})
>>> json.loads(r.data.decode('utf-8'))['args']
{'arg': 'value'}

对于POST PUT请求, 需要手工的将查询参数编码为URL:

>>> from urllib.parse import urlencode
>>> encoded_args = urlencode({'arg': 'value'})
>>> url = 'http://httpbin.org/post?' + encoded_args
>>> r = http.request('POST', url)
>>> json.loads(r.data.decode('utf-8'))['args']
{'arg': 'value'}

表单数据

对于POST ,PUT请求, urllib3会自动对字典数据进行form-encode .

>>> r = http.request(
...     'POST',
...     'http://httpbin.org/post',
...     fields={'field': 'value'})
>>> json.loads(r.data.decode('utf-8'))['form']
{'field': 'value'}

JSON

当使用json数据时, 需要指定headers的 Content-Type 为 application/json , 然后将dict编码为json格式放到body字段:

>>> import json
>>> data = {'attribute': 'value'}
>>> encoded_data = json.dumps(data).encode('utf-8')
>>> r = http.request(
...     'POST',
...     'http://httpbin.org/post',
...     body=encoded_data,
...     headers={'Content-Type': 'application/json'})
>>> json.loads(r.data.decode('utf-8'))['json']
{'attribute': 'value'}

文件或二进制数据

当上传文件时, 使用multipart/form-data , 需要在上面上传表单数据的基础上加上(file_name, file_data) 元祖:

>>> with open('example.txt') as fp:
...     file_data = fp.read()
>>> r = http.request(
...     'POST',
...     'http://httpbin.org/post',
...     fields={
...         'filefield': ('example.txt', file_data),
...     })
>>> json.loads(r.data.decode('utf-8'))['files']
{'filefield': '...'}

注意: 指定filenname 并不是必须的, 是浏览器建议使用的. 可以在元组中指定文件的MIME类型 .

>>> r = http.request(
...     'POST',
...     'http://httpbin.org/post',
...     fields={
...         'filefield': ('example.txt', file_data, 'text/plain'),
...     })

上传二进制数据 , 传递body参数 ,同时指定content-type

>>> with open('example.jpg', 'rb') as fp:
...     binary_data = fp.read()
>>> r = http.request(
...     'POST',
...     'http://httpbin.org/post',
...     body=binary_data,
...     headers={'Content-Type': 'image/jpeg'})
>>> json.loads(r.data.decode('utf-8'))['data']
b'...'