直接上代码:
import requests
s = requests.Session()
cookies= driver.get_cookies() #这里的driver为上一篇中登陆后获取的driver对象
for cookie in cookies:
s.cookies.set(cookie["name"], cookie["value"])
这里面的代码很少,但是有坑,主要两点:
1,利用session来转换,不建议直接requests 来转换cookie
2.就是这里面的cookie转换的时间点要尽可能的靠近你需要进行的requests请求的位置,有的时候会出现你刚登陆后直接driver.get_cookies(),导致获取的cookie失效没有用 requests不能访问获取网页
3.解决这种cookie时效性的问题,我这边使用selenium中每跳转每一页的时候重新生成cookie然后再进行requests进行抓取
后续会讲解下自己对ip代理的使用心得 ,欢迎大家一起交流
如有问题请微信我:13270870157