Selenium最初是一个自动化测试工具,Selenium可以驱动浏览器自动执行自定义好的逻辑代码,即通过代码完全模拟使用浏览器自动访问目标站点并操作,所以也可以用来爬虫。
我是用pycharm进行开发的,用pycharm安装selenium时需要注意一下支持库Urllib3的版本。
输入selenium,点击install Package,完成安装。
完成安装后,看一下Selenium和Urllib3的版本是否冲突,否则的话会Selenium始终无法使用,遇到这种情况的可以看一下这里。
光有selenium模块还不能控制浏览器,需要有Webdriver配合Selenium,才能对浏览器进行操控。需要注意的是,不同类型和版本的浏览器,对应着不同的webdriver。
我使用的是Chrome浏览器,首先明确浏览器的版本。点击“关于Google Chrome”。
我的 Chrome版本是114.0.57.35.199 (64位)的。
Chromedriver可以在下面的网址找:ChromeDriver - WebDriver for Chrome - Downloads (chromium.org)
找不到与Chrome版本完全一致的Chormedriver怎么办?那就找版本最接近的吧,下载版本为114..5737.90的Chromedriver试试。
点开链接,居然没有64位chromedriver版本,只有一个Windows版本的,也只能下它了。
点击chromedriver_win32.zip,下载后可解压chromedriver.exe到Path变量列出的任一文件夹中,以便实现程序对chromedriver.exe调用。Path变量中的路径,可以按窗口键+R,输入CMD回车进入命令行状态 ,然后在命令行状态输入Path后回车查看。
如果要在Path中添加新的路径,可用鼠标右键点击“此电脑”,选择“属性”。
然后选择“高级系统设置”。
在“系统属性”窗口中点击“高级”标签,然后点击“环境变量”。
在“环境变量”窗口中,可以看到有两个Path,一个是本账户用的,一个是系统用的。我们用的Path是实际是将两个Path合并形成的。如果电脑就自己用,改哪一个都可以。如果是多人用而且每人一个windows登录账户,就可以在用户变量中设置,这样不影响别人。
查看和修改Path,可在点击”Path”变量后,点击其下侧的“编辑”。
进入“编辑环境变量”窗口后,点击“新建”,输入Chromedriver.exe所在文件夹路径,点击“确定”,就完成路径的添加了。
到此,selenium和webdriver的安装就完成了。