python爬虫示例二：selenuim + requests升级版requestium实现自动登录获取网页cookie信息并爬取数据

selenuim + requests=requestium实现自动登录获取网页cookie信息，然后通过此cookie进行网页的数据爬取

不多说其他的，直接上代码，另外提几个注意点：
（1）有些网站设置了反爬机制，我们需要手动添加headers，加入user-agent参数，详细请看代码
（2）另外使用requestium集成的selenium组件，用的是谷歌浏览器，大家需要下载，同时还需要下载一个webdriver驱动插件，要注意自己的谷歌浏览器和webdriver驱动版本的对应

from requestium import Session, Keys
import time
import json
import requests

#将cookie信息添加进requests组件中	
def add_cookies(cookie,s):
	u"往session添加cookies"
	c = requests.cookies.RequestsCookieJar()
	for i in cookie:    #添加cookie到CookieJar
		#print(i)
		c.set(i["name"], i["value"])
	s.cookies.update(c)     #更新session里的cookie
	return s
    
#获取cookie信息
def getCookie():
	#webdriver驱动地址根据实际修改
	s = Session(webdriver_path='D:/chromedriver_win32/chromedriver.exe',
		browser='chrome',
		default_timeout=15,
		webdriver_options={'arguments': ['headless']})
	s.driver.get('填写登录网址')
	time.sleep(1)
	s.driver.ensure_element_by_id('username').clear()
	s.driver.ensure_element_by_id('username').send_keys('用户名')
	s.driver.ensure_element_by_id('password').clear()
	s.driver.ensure_element_by_id('password').send_keys('密码')
	s.driver.ensure_element_by_id('login').click()
	time.sleep(3)
	url = s.driver.current_url
	cookie = s.driver.get_cookies()
	#print(cookie)
	jsonCookies = json.dumps(cookie) #转字符串
	s.driver.close()
	return cookie

# 测试代码
if __name__ == '__main__':  
	s = requests.session()
	cookie = getCookie()
	#为requests组件加入cookie信息
	add_cookies(cookie,s)
	#请求需要的数据
	data = {
		'response_data': json.dumps(response_data),
		'filter_condition_key':'', 
		'_search': 'False',
		'nd': 1576549859948,
		'rows': 100,
		'page': 1,
		'sidx': '', 
		'sord': 'asc',
		'Q^ALERT_TIME_START_^DL': 'xxx',
		'Q^ALERT_TIME_START_^DG': 'xxx'
	}
	#反爬破解机制，加入自己网页的user-agent
	headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36 SLBrowser/6.0.1.4221'}
	response = s.post('需要抓取数据的网址', headers,data=data)
	if response.content:
		print(response.json())