安装Selenium&PhantomJS

安装Selenium

win10下

pip install -i https://pypi.doubanio.com/simple/ selenium

linux下

apt install python-selenium -y

安装PhantomJS

(1)一个基于webkit内核的无头浏览器,即没有UI界面,即它就是一个浏览器,只是其内的点击、翻页等人为相关操作需要程序设计实现。
(2)提供javascript API接口,即通过编写js程序可以直接与webkit内核交互,在此之上可以结合java语言等,通过java调用js等相关操作,从而解决了以前c/c++才能比较好的基于webkit开发优质采集器的限制。

下载地址

http://phantomjs.org/download.html

下载完成后解压,然后PATH添加环境变量,测试如下

安装Selenium&PhantomJS_第1张图片

配置chromedriver

这个可以通过pip安装,但是我没有找到具体安装目录,就手动下载了一个.
所有版本可在这里下载

http://chromedriver.storage.googleapis.com/index.html

或者

https://sites.google.com/a/chromium.org/chromedriver/downloads

对应关系

安装Selenium&PhantomJS_第2张图片

使用方法

from selenium import webdriver
from bs4 import BeautifulSoup
#需要先下载chromedriver
driver = webdriver.Chrome('D:/Python/chromedriver_win32/chromedriver.exe')

你可能感兴趣的:(Python网络爬虫)