python爬虫之http.CookieJar库

我们在使用爬虫的时候，经常会用到cookie进行模拟登陆和访问。在使用urllib库做爬虫，我们需要借助http.cookiejar库中的CookieJar来实现，CookieJar类管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中，对CookieJar实例进行垃圾回收后cookie也将丢失。
使用cookie管理session步骤是：

1. 创建CookieJar 对象或其子类的对象，负责处理cookie
2. 以 CookieJar 对象为参数，创建 urllib.request.HTTPCookieProcessor 对象，该对象负责调用 CookieJar 来管理 cookie
3. 以 HTTPCookieProcessor 对象为参数，调用 urllib.request.build_opener() 函数创建 OpenerDirector 对象
4. 使用 OpenerDirector 对象来发送请求，该对象将会通过 HTTPCookieProcessor 调用 CookieJar 来管理 cookie
   下面以上节出错的的爬虫代码为例，来说明CookieJar 的用法

from http import cookiejar
from urllib import request, parse

url = "https://www.lagou.com/jobs/list_python/p-city_0?&cl=false&fromSearch=true&labelWords=&suginput="
data_url = "https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36",
    "Referer": url
}
data = {
    "first": "true",
    "pn": str(1),
    "kd": "python"
}

# 创建cookiejar实例对象
cookie_jar = cookiejar.CookieJar()

# 根据创建的cookie生成cookie的管理器
handler = request.HTTPCookieProcessor(cookie_jar)

# 创建http请求管理器
http_handle = request.HTTPHandler()

# 创建https管理器
https_handle = request.HTTPSHandler()

# 有了opener，就可以替代urlopen来获取请求了
opener = request.build_opener(handler, http_handle, https_handle)

req = request.Request(url, headers=headers)

# 正常是用request.urlopen(),这里用opener.open()发起请求,获取cookies
opener.open(req)

rep = request.Request(data_url, headers=headers, data=parse.urlencode(data).encode("utf-8"))

res = opener.open(rep)
st = res.read().decode("utf-8")
f = open("index.html", "w")
count = f.write(st)

f.close()
print(st)
print(count)

执行结果如下所示

通过使用cookies管理，就能真正的模仿用户登录了，