Python网络爬虫之动态网络爬取(一)

1 Selenium及其他插件安装

1.1 Selenium + PhantomJS T

由于目前最新的SeleniumE经放弃PhantomJs,所以大家在安装时首先要查看下你所安装的Selenium版本信息，在命令行(终端)中输入以下指令来查看Selenium的版本信息：

pip show selenium

如果发现你的版本248.0,需要执行以下操作进行卸载重装Selenium
(1) pip uninstall selenium
(2) pip install selenium==2.48.0

对于安装PhantomJS的方式，书本上已有Windows系统的安装过程，下面主要介绍Liunx系统的安装过程:

(1)官网下载http: //phantomjs . org/ download.html
(2) 解压(注意文件名可能会根据系统不同而改变) tar-xvf phantomjs-2.1.1-linux-x86 _64. tar .bz2
(3)移动到指定目录下同时重命名: sudo my phantomjs-2.1.1-1inux-x86_ 64 /usr/1oca1/ share/ phantomjs
(4)建立链接: **
In-s/usr/1pca1/share/phantomjs/bin/phantomjs /usr/1oca1/bin/ phantomjs**
下面以爬取人民邮电出版社页面(URL: https://www.ptpress.com.cn/ )内容进行一组对比测试:

#常规使用requests库
import requests
response=requests.get("https://www. ptpress. com. cn/")
print(response.text)

结果只有HTML框架，并未爬取到任何内容

#使用selenium+PhantomJS	
from selenium import webdriver
phantomjs=webdriver.PhantomJS()
phantomjs.get("https://www. ptpress. com. cn/")
print(phantomjs.page_source)

结果可以显示HTML框架里的内容

结论：

通过以上两个案例的实际对比，可以非常明显的发现，使用常规方式爬取的页面中无实际内容。其实，以前我们所学习的爬虫如果直接去爬取页面，通常只能正常获取静态页面，对于动态页面的内容则很难获取。

Tips小技巧：
怎么区别静态页面和动态页面?
在Chrome开发者工具中对比查看"Elements”和“Sources”两处的HTML内容是否致，如果内容一致则代表该网页为静态页面;否则就是动态页面。

特别说明
在最开始已经说过，selenium已经放弃PhantomJS,建议使用火狐或者谷歌无界面浏览器。

那么下面将主要介绍谷歌无界面刘览器的安装与使用方法，对于火狐的安装使用方法请人家自行百度或参考此网页：
https://blo/ csn.nt/01058168ariceletails79749149

1.2 Selenium + Headless Chrome

首先需要安装selenim.此时的selenium可以不需要限制版本，可以直接安装最新的版本!

其次本地安装Chrome浏览器， [非常关键]同时需要配置chromedriver驱动器文件，chromedriver的下载地址：
https://chromedriver.storage.googleapis.com/index.html

具体步骤如下:
（1) 获取chrome浏览器的版本信息，下载对应版本的ChromeDriver；
（2）解压缩下载的ChromeDriver文件；
（3）将解压后的文件chromedriver复制到/usr/bin目录下，并设置其系统权限为755。

尝试使用Selenium+Chrome，示例如下：

from selenium import webdriver
chrome=webdriver.Chrome()
chrome.get("https://www.ptpress.com.cn/")
print(chrome.page_source)

运行后会发现你的系统会自动打开谷歌浏览器并自动加载页面

2 入门操作实例

以操作百度搜索页面为例进行简单演示。要求在页面的搜索框中自动填写关键词并点击搜素进行查询

from selenium import webdriver
chrome=webdriver.Chrome()
chrome.get("https://www.baidu.com")
chrome.find_element_by_id("kw").send_keys("红花")
chrome.find_element_by_id("su").click()
print(chrome.page_source)