爬虫利器selenium和浏览器驱动安装教程

selenium安装

直接使用pip命令安装

pip install selenium

使用谷歌浏览器测试是否安装成功

from selenium import webdriver

browser = webdriver.Chrome()
browser.get("https://www.baidu.com/")

运行这段代码会自动打开浏览器访问百度

如果程序报错则说明没有安装浏览器驱动或者Chrome驱动没有配置环境变量。下载驱动，然后将驱动文件路径配置在环境变量里。

安装Chrome驱动

因为我用的是谷歌浏览器所以下载的是Chrome驱动，当然你用别的浏览器也可以，去相应的地方下载就行。

下载地址

如果上述地址无效，则可以使用下面的地址进行下载。
驱动下载

注意下载的驱动要跟你使用浏览器的版本一致，这里以谷歌浏览器为例。

打开chrome 输入 “chrome://version/ 查看自己的chrome版本号

下载完成后：

windows 下，新建一个命名为chromedriver文件夹，将解压的chromedriver.exe放进文件夹，再配置进path环境变量

Linux下，把下载好的文件放在 /usr/bin 目录下就可以了。

测试一把

准备工作完成后，编写代码测试一下

#导入web驱动模块
from selenium import webdriver

#创建一个Chrome驱动
driver = webdriver.Chrome()

#有了实例之后相当于我们有了Chrome浏览器了，接着使用get方法打开百度
driver.get("https://www.baidu.com")

#打开百度之后，我们获取到输入框
#获取到输入框之后我们就往里面写入我们要搜索的内容
input = driver.find_element_by_css_selector("#kw")
input.send_keys("照片")

#输入完了之后呢，我们就获取到搜索这个按钮，然后点击
button = driver.find_element_by_css_selector("#su")
button.click()

运行一下

可以看到程序自己打开Chrome浏览器并且访问了百度搜索了照片。

补充

我们使用驱动打开了一个页面

这时候其实没什么鸟用

因为我们要对那些元素进行操作

就像刚刚我们要获取输入框然后输入一些内容

还有获取按钮点击什么的

selenium 提供了挺多方法给我们获取的

当我们要在页面中获取一个元素的时候

可以使用这些方法

find_element_by_id find_element_by_name find_element_by_xpath
find_element_by_link_text find_element_by_partial_link_text
find_element_by_tag_name find_element_by_class_name
find_element_by_css_selector

想要在页面获取多个元素，就可以这样

find_elements_by_name find_elements_by_xpath
find_elements_by_link_text find_elements_by_partial_link_text
find_elements_by_tag_name find_elements_by_class_name
find_elements_by_css_selector