python3.X爬虫针对拉钩,直聘,大街等招聘网站的简历爬虫遇到的selenium中的cookie转requests中的cookie总结三( pycharm运行,代码篇)

直接上代码:

import requests 

   s = requests.Session()
    cookies= driver.get_cookies() #这里的driver为上一篇中登陆后获取的driver对象
    for cookie in cookies:
        s.cookies.set(cookie["name"], cookie["value"])

 这里面的代码很少,但是有坑,主要两点:

1,利用session来转换,不建议直接requests 来转换cookie

2.就是这里面的cookie转换的时间点要尽可能的靠近你需要进行的requests请求的位置,有的时候会出现你刚登陆后直接driver.get_cookies(),导致获取的cookie失效没有用 requests不能访问获取网页

3.解决这种cookie时效性的问题,我这边使用selenium中每跳转每一页的时候重新生成cookie然后再进行requests进行抓取

后续会讲解下自己对ip代理的使用心得 ,欢迎大家一起交流

如有问题请微信我:13270870157

你可能感兴趣的:(python)