在爬虫过程中,selenium+webdriver组合的方法能有效解决页面动态加载元素难以获取的问题。webdriver是指一个模拟浏览器,常用chromedriver、PhantomJS…但是随着selenium逐渐放弃对PhanthomJS的支持,加入了无头模式的chromedriver变得越来越热门。下面图文介绍一下chromedriver的安装配置方法。
地址(淘宝镜像):https://npm.taobao.org/mirrors/chromedriver/
下载chromedriver.exe到chrome浏览器的目录下
结果如图:
同时把chromedriver.exe复制到当前项目环境的目录下,如下图(和对应的python.exe一个目录下)。
验证是否成功
from selenium import webdriver
driver = webdriver.Chrome()
driver.get("http://www.baidu.com")