初识selenium

selenium是什么

selenium模块可以让 Python 直接控制浏览器，可以实际点击链接，填写登录信息等等，几乎就像是真正的用户在操作一样。支持的浏览器包括 IE, Firefox, Chrome, Safari, Opera等。selenium的缺点就是要启动web浏览器，这样会使得爬取的速度变慢，并且难以在后台运行。

安装

本机环境
Python 3.6
windows

安装selenium
在cmd中输入 python -m pip install selenium

安装驱动文件
此处以Firefox为例
下载Geckodriver（https://github.com/mozilla/geckodriver/releases）
然后将geckodriver.exe放到Python安装根目录（与Python.exe同一目录）

例子

以第一财经网的新闻页面为例，在页面下方有一个点击加载更多的可点击对象（即支持click()方法，但不是按钮）。我们用selenium去模拟点击点击加载更多，以此实现不断向下加载。

通过检查元素，找到点击加载更多这个标签的信息。
具体代码如下：

import time
from selenium import webdriver
browser = webdriver.Firefox()  # 启动Firefox浏览器
browser.get('http://www.yicai.com/news/')  # 将浏览器指向该网页
while True:
    divmore = browser.find_element_by_id('divMore')  # 在网页中查找匹配id属性值的元素，返回一个WebElement对象
    divmore.click() # 调用WebElement对象的click()方法，模拟鼠标在该元素上点击
    time.sleep(1) # 每隔1s点击一次

---

附
该文章于2017年7月26日于CSDN上首次发表，2017年12月24日搬家至此！