【python分布爬虫】1-3.requests使用代理ip

使用代理：
使用requests添加代理也非常简单，只要在请求的方法中（比如get或者post）传递proxies参数就可以了。
（当发送请求过多，并且ip地址是同一个ip地址，当真实的ip地址被目标服务器封掉，无法进行下去，这时就要使用代理）

import requests

# httpbin.org/ip:可以查看ip地址

proxy = {
    'http': '120.220.220.95:8085'
}
response = requests.get("http://httpbin.org/ip", proxies=proxy)
print(response.text)

处理cookie:

# cookie
# 如果在一个响应中包含了cookie，那么可以利用cookies属性拿到这个返回的cookie值：

import requests

response = requests.get('http://www.baidu.com')
print(response.cookies.get_dict())  # get_dict()会以字典的方式返回

结果：{‘BDORZ’: ‘27315’}

如果想要在多次请求中共享cookie，那么应该使用session，示例代码如下

requests处理不信任的ssl证书

import requests

'''
对于那些已经被信任的ssl证书的网站，将verify设置为False,比如 https://www.baidu.com/,那么使用requests直接就可以正常的返回响应。
'''
resp = requests.get('http://www.12306.cn/mormhweb', verify=False)
print(resp.content.decode('utf-8'))