requests 学习笔记之 高级用法

# 高级用法
# 一，会话对象
#创建一个会话对象，会话对象让你能够跨请求保持某些参数。
# 一、在两个请求间使用会话保持一些 cookie，两个请求都可以使用。
# s1 = requests.Session()
# print s1.get('http://httpbin.org/cookies/set/sessioncookie/123456789').text
# print s1.get("http://httpbin.org/cookies").text

# 二、方法级别的参数也不会被跨请求保持。例如第一个请求方法带的参数cookies在第二个请求方法中不能使用，即使请求的是同一个地址。
# s2 = requests.Session()
# response = s2.get('http://httpbin.org/cookies', cookies={'test_cookie':"timeashore"})
# print response.text
# response = s2.get('http://httpbin.org/cookies')
# print response.text

# 三、会话也可用来为请求方法提供缺省数据。
# s = requests.Session()
# s.auth = ('user', 'pass')
# s.headers.update({'x-test': 'true'})
# print s.get('http://httpbin.org/headers', headers={'x-test2': 'true',"Content-Length":"None"}).headers

# 会话也可以这样使用：先打开文件一样创建一个会话对象s，然后再进行操作，这样在with块退出后会话将会被关闭
# with requests.Session() as s:
#     s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')
# 从字典参数中移除一个值也很简单，在方法层的字典参数中将那个键设置为None即可。

# 三、发出请求后收到服务器的响应response中的内容
# response = requests.get("http://www.baidu.com")
# 主要做了两件事：
# （1）创建一个Request对象，发送Request对象到服务器。（发请求）
# （2）创建一个Response对象接收服务器响应内容（包括服务器返回的所有信息，也包括创建的Request对象信息）
# 访问response头信息：
# print response.headers
# 访问请求头信息
# print response.request.headers

# 四、SSL证书验证 - 客户端证书 - CA证书
# Requests 可以为 HTTPS 请求验证 SSL 证书，就像 web 浏览器一样。
# SSL 验证默认是开启的( 参数verify默认为True)，如果证书验证失败，Requests 会抛出 SSLError。

# print requests.get('https://github.com', verify=True)
# 也可以为 verify 传入 CA_BUNDLE 文件的路径，或者包含可信任 CA 证书文件的文件夹路径
# print requests.get('https://github.com', verify='/path/to/certfile')
# CA证书：Requests 默认附带了一套它信任的根证书，来自于 Mozilla trust store。


# 五、响应体内容工作流
# 默认情况下，当发请求后，响应体（response.text,response.content,response.body,...）会立即被下载。
# 但是可以设置 stream=True 参数推迟下载时间，直到访问到了某一个内容才会被下载。此时仅有响应头被下载下来了，连接保持打开状态。
# response = requests.get("http://www.baidu.com", stream=True)  #响应体暂未下载
# print response.text  #响应体下载

# 注意：如果你在请求中把 stream 设为 True，Requests 无法将连接释放回连接池，除非你 消耗了所有的数据，或者调用了 Response.close。
# 因此在设置了stream参数为True时，最好在with块中发请求操作，这样保证请求一定会被关闭。
# with requests.get("http://www.baidu.com",stream=True) as response:
#     print response.content


# 六、流式上传
# Requests支持流式上传，这允许你发送大的数据流或文件而无需先把它们读入内存。
# 要使用流式上传，仅需为你的请求体提供一个类文件对象即可：
# with open('massive-body') as fp:
#     requests.post(url, data=fp)
# 警告：强烈建议你用二进制模式（binary mode）打开文件。
# 这是因为 requests 可能会为你提供 header 中的 Content-Length，在这种情况下该值会被设为文件的字节数。
# 如果你用文本模式打开文件，就可能碰到错误。


# （比较有用）
# 七、事件挂钩 : 可以用来操控部分请求过程，或信号事件处理
# 传递一个字典给 hooks 请求参数为每个请求分配一个钩子函数
# def a(response,*args, **kwargs):
#     #对于爬虫，可以在这个回调函数中解析源码提取内容
#     print response.text
# def b(response,*args, **kwargs):
#     print response.text
#     print response.encoding
# requests.get("http://www.baidu.com",hooks=dict(response=a))   #设置回调函数a()
# requests.get("http://www.baidu.com",hooks=dict(response=b))   #设置回调函数b()



# 八、代理
#（1）如果需要使用代理，通过为任意请求方法设置 proxies 参数来配置
# proxie = {
#   "http": "http://10.10.1.10:3128",
#   "https": "http://10.10.1.10:1080",
# }
# requests.get(url, proxies=proxie)

# （2）也可以通过环境变量 HTTP_PROXY 和 HTTPS_PROXY 来配置代理。
# export HTTP_PROXY="http://10.10.1.10:3128"
# export HTTPS_PROXY="http://10.10.1.10:1080"
# requests.get(url)

# (3)若你的代理需要使用HTTP Basic Auth，可以使用 http://user:password@host/ 语法：
# proxies = {
#     "http": "http://user:[email protected]:3128/",
# }

# (4)要为某个特定的连接方式或者主机设置代理，使用 scheme://hostname 作为 key， 它会针对指定的主机和连接方式进行匹配。
# proxies = {'http://10.20.1.128': 'http://10.10.1.10:5323'}


# 九、SOCKS 协议代理
# 除了基本的 HTTP 代理，Request 还支持 SOCKS 协议的代理。
# 安装：pip install requests[socks]
# 使用 SOCKS 代理和使用 HTTP 代理一样
# proxie = {
#     'http': 'socks5://user:pass@host:port',
#     'https': 'socks5://user:pass@host:port'
# }
# requests.get(url,proxies=proxie)


# 十、定制HTTP动词
# 常规的HTTP动词有GET、OPTIONS、HEAD、POST、PUT、PATCH、DELETE等
# 有时候你会碰到一些服务器，处于某些原因，它们要求用户使用上述 HTTP 动词之外的定制动词。
# requests 使用内建的 .request 方法就可以了。例如某台服务器要求使用 MKCOL 方法。
# response = requests.request('MKCOL', url, data=data)
# response.status_code

快速上手/基本使用：http://docs.python-requests.org/zh_CN/latest/user/quickstart.html
高级用法：http://docs.python-requests.org/zh_CN/latest/user/advanced.html
API：http://docs.python-requests.org/zh_CN/latest/api.html

注：原创文章，未经作者本人同意，禁止转载。
原文地址：http://www.jianshu.com/p/94e23184b914