爬虫进阶--Selenium+chromedriver获取动态数据

Selenium相当于是一个机器人。可以模拟人类在浏览器上的一些行为，自动处理浏览器上的一些行为，比如点击，填充数据，删除cookie等。chromedriver是一个驱动Chrome`浏览器的驱动程序，使用他才可以驱动浏览器。当然针对不同的浏览器有不同的driver。

以下列出了不同浏览器及其对应的driver：

1. Chrome：https://sites.google.com/a/chromium.org/chromedriver/downloads
2. Firefox：https://github.com/mozilla/geckodriver/releases
3. Edge：https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/
4. Safari：https://webkit.org/blog/6900/webdriver-support-in-safari-10/

安装Selenium和chromedriver

安装Selenium我们输入

pip install selenium

即可
安装chromedriver，我们现需要知道浏览器版本，在设置->帮助->关于 Chrome中可以查看

如果driver对应网址无法访问，我们可以下载谷歌访问助手，解压拖入设置->更多根据->扩展程序即可安装

然后下载后获取chromedriver.exe路径

以一个简单的获取百度首页的例子来讲下Selenium和chromedriver如何快速入门：

# chromedriver的绝对路径
driver_path = r'D:\ProgramApp\chromedriver\chromedriver.exe'

# 初始化一个driver，并且指定chromedriver的路径
driver = webdriver.Chrome(executable_path=driver_path)
# 请求网页
driver.get("https://www.baidu.com/")
# 通过page_source获取网页源代码
print(driver.page_source)

运行结果如下：