使用selenium+requests登录网页并持久化cookie

参考：python selenium库在线文档

selenium是一款自动化测试利器，可以自动化模拟人的浏览器操作行为，所以也可以用于网络爬虫。本文主要讲一讲怎样用selenium来模拟登录，并持久化cookie，然后用requests爬取页面。

selenium的安装及配置

安装selenium

pip install selenium

配置chrome浏览器webdriver

• 到这个网站：http://chromedriver.chromium.org/downloads下载chrome浏览器的webdriver文件，需要根据自己电脑装的chrome浏览器版本选择对应合适版本的webdriver文件。
• 以下载windows系统的webdriver文件为例，下载下来解压缩，把得到的chromedriver.exe文件放到python根目录下的scripts目录下。
• chromedriver.exe版本号和chrome浏览器版本号的适配关系映射表（参考：https://blog.csdn.net/huilan_same/article/details/51896672）：

chromedriver版本	支持的Chrome版本
v2.41	v67-69
v2.40	v66-68
v2.39	v66-68
v2.38	v65-67
v2.37	v64-66
v2.36	v63-65
v2.35	v62-64
v2.34	v61-63
v2.33	v60-62
v2.32	v59-61
v2.31	v58-60
v2.30	v58-60
v2.29	v56-58
v2.28	v55-57
v2.27	v54-56
v2.26	v53-55
v2.25	v53-55
v2.24	v52-54
v2.23	v51-53
v2.22	v49-52
v2.21	v46-50
v2.20	v43-48
v2.19	v43-47
v2.18	v43-46
v2.17	v42-43
v2.13	v42-45
v2.15	v40-43
v2.14	v39-42
v2.13	v38-41
v2.12	v36-40
v2.11	v36-40
v2.10	v33-36
v2.9	v31-34
v2.8	v30-33
v2.7	v30-33
v2.6	v29-32
v2.5	v29-32
v2.4	v29-32

使用selenium模拟登录：以豆瓣为例

直接上代码：

# coding:utf-8
# 用webdriver登录并获取cookies，并用requests发送请求，以豆瓣为例
from selenium import webdriver
import requests
import time
import json
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

def main():
    # 从命令行参数获取登录用户名和密码
    user_name = sys.argv[1]
    password = sys.argv[2]

    # 豆瓣登录页面URL
    login_url = 'https://www.douban.com/accounts/login'

    # 获取chrome的配置
    opt = webdriver.ChromeOptions()
    # 在运行的时候不弹出浏览器窗口
    # opt.set_headless()

    # 获取driver对象
    driver = webdriver.Chrome(chrome_options = opt)
    # 打开登录页面
    driver.get(login_url)

    print 'opened login page...'
    
    # 向浏览器发送用户名、密码，并点击登录按钮
    driver.find_element_by_name('form_email').send_keys(user_name)
    driver.find_element_by_name('form_password').send_keys(password)
    # 多次登录需要输入验证码，这里给一个手工输入验证码的时间
    time.sleep(6)
    driver.find_element_by_class_name('btn-submit').submit()
    print 'submited...'
    # 等待2秒钟
    time.sleep(2)

    # 创建一个requests session对象
    s = requests.Session()
    # 从driver中获取cookie列表（是一个列表，列表的每个元素都是一个字典）
    cookies = driver.get_cookies()
    # 把cookies设置到session中
    for cookie in cookies:
        s.cookies.set(cookie['name'],cookie['value'])
    # 关闭driver
    driver.close()

    # 需要登录才能看到的页面URL
    page_url = 'https://www.douban.com/accounts/'
    # 获取该页面的HTML
    resp = s.get(page_url)
    resp.encoding = 'utf-8'
    print 'status_code = {0}'.format(resp.status_code)
    # 将网页内容存入文件
    with open('html.txt','w+') as  fout:
        fout.write(resp.text)
    
    print 'end'

if __name__ == '__main__':
    main()

代码分析：

• 首先，从命令行参数中获取豆瓣账号的用户名和密码。
• 接着，创建了一个配置对象opt，它主要用于对接下来的操作进行一些配置，比如使用opt.set_headless()函数，可以设置在运行的时候不弹出浏览器窗口。至于其他还支持些什么配置，可以参看官方文档。
• 接着创建一个chrome浏览器的驱动器对象driver，创建的时候使用了刚刚创建的配置对象opt。然后调用driver对象的get方法，在一个独立的浏览器中打开豆瓣登录页面。
• 这个时候已经在浏览器中打开了登录页面，接下来的几行代码调用了driver对象的find_element_by_XXX方法，用于选取当前页面的用户名输入框、密码输入框的DOM元素对象，然后调用send_keys方法向输入框中自动输入内容，最后调用登录按钮的submit方法进行登录。这个时候已经完成了模拟人工输入账号、密码、点击登录按钮的全过程，随之获取的cookie等信息已经存储在了driver对象中。
• 接下来创建了一个requests的Session对象，然后从driver对象中获取了cookie列表，cookie列表是类似于这样的一个结构：

[
  {
    "name":"xxx",
    "value":"xxx",
    ...
  },
  {
    "name":"xxx",
    "value":"xxx",
    ...
  }
]

• 遍历这个cookie列表，逐个把各个cookie设置到Session对象中，这个时候已经把从driver登录页面获取到的cookie成功设置到Session对象中了。都拿到cookie了，能干什么呢？当然是可以为所欲为了！接下来就可以发挥requests库的优势，去爬那些只有登录后才能访问的各种页面和数据了！

还存在的问题和坑

• 虽然selenium可以模拟人在浏览器中的手工操作，但是如果在爬取页面的时候太过于频繁了，或者使用了很多个线程，依然很容易被网站的反爬虫机制识别出来，进而被封号、封IP都是有可能的。所以虽然selenium用起来很爽，搭配requests用起来尤其爽，我们还是要克制一点，需要做些伪装，比如在发送的两个请求之间随机间隔几秒钟时间，比如这样：

time.sleep(6 * random.random())  # 在两次请求之间间隔0~6秒的随机时间

就可以有效骗过网站的反爬虫机制，让它把你的爬虫当成一个正常的“人”。

这种方式，平均来讲每3秒可以爬取 一条数据，1分钟可以爬取20条数据，1个小时可以爬取1200条数据，还是比较少的，所以这种方式不适用于需要在短时间内获取大量数据的场景（比如万级、百万级），大数据量的场景还是要借助一些其他的反反爬虫措施。

• selenium还无法方便地解决在登录的时候需要输入验证码的问题，这个放在以后研究一下，比如可以在登录页面获取验证码图片，调用一些图像识别库的API来进行自动识别。不过本文在登录豆瓣的时候，采取的方式是弹出浏览器，手工输入验证码，然后等待自动登录。