爬虫入门（五）处理cookie相关的请求

爬虫中使用cookie：
为了能够通过爬虫获取到登录后的页面，或者是解决通过cookie的反扒，需要使用request来处理cookie相关的请求

爬虫中使用cookie的利弊：
带上cookie的坏处:
能够访问登录后的页面
能够实现部分反反爬

带上cookie的坏处:
一套cookie往往对应的是一个用户的信息，请求太频繁有更大的可能性被对方识别为爬虫

requests处理cookie的方法：
使用requests处理cookie有三种方法：
1.cookie字符串放在headers中

2.在headers中使用cookie

headers = {
"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36",
"Cookie":" Pycharm-26c2d973=dbb9b300-2483-478f-9f5a-16ca4580177e; Hm_lvt_98b9d8c2fd6608d564bf2ac2ae642948=1512607763; Pycharm-26c2d974=f645329f-338e-486c-82c2-29e2a0205c74; _xsrf=2|d1a3d8ea|c5b07851cbce048bd5453846445de19d|1522379036"}
requests.get(url,headers=headers)

注意：
cookie有过期时间 ，所以直接复制浏览器中的cookie可能意味着下一程序继续运行的时候需要替换代码中的cookie，对应的我们也可以通过一个程序专门来获取cookie供其他程序使用；当然也有很多网站的cookie过期时间很长，这种情况下，直接复制cookie来使用更加简单
使用cookies参数接收字典形式的cookie
cookies的形式：字典

cookies = {"cookie的name":"cookie的value"}
使用方法：
requests.get(url,headers=headers,cookies=cookie_dict}

3.使用requests.session处理cookie
前面使用手动的方式使用cookie，那么有没有更好的方法在requets中处理cookie呢？
requests 提供了一个叫做session类，来实现客户端和服务端的会话保持
会话保持有两个内涵：
保存cookie，下一次请求会带上前一次的cookie
实现和服务端的长连接，加快请求速度

使用方法
session = requests.session()
response = session.get(url,headers)
session实例在请求了一个网站后，对方服务器设置在本地的cookie会保存在session中，下一次再使用session请求对方服务器的时候，会带上前一次的cookie

爬取人人网信息
源码：

# coding=utf-8
import requests

url = "http://www.renren.com/967357235/profile"
headers = {
    "User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1",
}
cookie="anonymid=jkkvkemp-qgh86r; depovince=GW; _r01_=1; JSESSIONID=abcD1HN9k2XS9fSzKQyuw; ick_login=55f9f23f-fa56-4fc9-9edb-76e9f4518f21; _de=A56901E5065198A83D115A380C4EE4DD; p=22c504bf90bb0e2383707092d9e567d85; ap=967357235; first_login_flag=1; ln_uact=15927063069; ln_hurl=http://head.xiaonei.com/photos/0/0/men_main.gif; t=2fed560375e2810fd8179b5ae9cbe5445; societyguester=2fed560375e2810fd8179b5ae9cbe5445; id=967357235; xnsid=e755715e; jebe_key=ae3e5f89-f7a9-4024-a4a4-b11fb43c9ff9%7Cb3c94dfc679290f5ffae8a6d77c8ac90%7C1533717171061%7C1%7C1533717178011; _ga=GA1.2.2000638865.1533717252; _gid=GA1.2.509552808.1533717252; jebecookies=25c1802f-0c4d-4d36-aa8c-805f5588bc9c|||||; ver=7.0; loginfrom=null; BAIDU_SSP_lcr=https://www.baidu.com/link?url=ElITa8MLTKjBZTrFEAJfrzQXN7lBZzodz_iO-5DTjoS&wd=&eqid=ca3aaffe0001b52f000000065b6ab505; wp_fold=0"

#准备字典形式的cookie
cookie_dict = {i.split("=")[0]:i.split("=")[1] for i in cookie.split("; ")}
# print(cookie_dict)

response = requests.get(url,headers=headers,cookies=cookie_dict)

with open("renren1.html","w",encoding="utf-8") as f:
    f.write(response.content.decode())