selenium.Chrome传递cookies给requests

解决痛点：selenium的模拟浏览器功能虽然强大，但是慢，而且多开容易崩溃。所以用模拟登陆取得cookie，然后传递给requests。requests带cookies访问站点受限较少。

以拉勾网为例

找到用户名密码输入框，点击登录

from selenium import webdriver
import requests

bw= webdriver.Chrome('D:\\安装文件\\chromedriver.exe')  
bw.get('https://passport.lagou.com/login/login.html?ts=1523322806071&serviceId=lagou&service=https%253A%252F%252Fwww.lagou.com%252F&action=login&signature=6B8D1DC4C3FFCDD66E6A9B43CD049F69')
bw.find_element_by_xpath("//form[@class='active']/div[@class='input_item clearfix']/input[@type='text']").send_keys('13524576770')
bw.find_element_by_xpath("//form[@class='active']/div[@class='input_item clearfix']/input[@type='password']").send_keys('******342')
bw.find_element_by_xpath("//form[@class='active']/div[@class='input_item btn_group clearfix']/input[@type='submit']").click()  #

time.sleep(3)

注意：

1、chrome的浏览器和驱动chromedriver.exe的版本要对应，不然报错，也可以用Phanomjs

2、模拟点击登录以后要等待一下，click之后，网页并不会等待cookies传入完整再执行下一行，所以要time.sleep(3)等待一下

cookies={}
for cookie in bw.get_cookies():
    cookies[cookie['name']]=cookie['value']

把cookies列表中的每一个dict取出来，取得其中的name和value，变成requests可以接受的格式

h={'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'}
r=requests.get('https://www.lagou.com/',headers=h,cookies=cookies)
print('我的简历' in r.text)

True

后面可以不定期更新一下bw,重新获取一下cookies，以防止cookies过期

欢迎批评指正