Python爬虫 selenium+PhantomJS 介绍、安装、使用

之前用Java做过爬虫，也用到过selenium和PhantomJS。最近痴迷于python爬虫，将selenium+PhantomJS在python中的应用详细总结一下。

一、Selenium介绍

Selenium 是什么？一句话，自动化测试工具。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，如果你在这些浏览器里面安装一个 Selenium 的插件，那么便可以方便地实现Web界面的测试。换句话说叫 Selenium 支持这些浏览器驱动。Selenium支持多种语言开发，比如 Java，C，Ruby等等，有 Python 吗？那是必须的！安装只要cmd中 pip install selenium 即可。

二、爬虫为什么要用selenium

对于一般网站来说scrapy、requests、beautifulsoup等都可以爬取，但是有些信息需要执行js才能显现，而且你肉眼所能看到的基本都能爬取下来，在学习中遇到了，就记录下来方便以后查看。

　webdrive是selenium中一个函数：
　

1 from selenium import webdriver
2 driver = webdriver.PhantomJS()
3 driver.get('网址')

其中PhantomJS同时可以换成Chrome、Firefox、Ie等等，但是PhantomJS是一个无头的浏览器，运行是不会跳出相应的浏览器，运行相对效率较高。在调试中可以先换成Chrome，方便调试，最后再换成PhantomJS即可。

三、Selenium安装

1、cmd中 pip install selenium
2、通过PyCharm安装第三方包的方法 入下图：
（1）：

（2）：

四、PhantomJS介绍

PhantomJS是一个基于webkit的JavaScript API。它使用QtWebKit作为它核心浏览器的功能，使用webkit来编译解释执行JavaScript代码。任何你可以在基于webkit浏览器做的事情，它都能做到。它不仅是个隐形的浏览器，提供了诸如CSS选择器、支持Web标准、DOM操作、JSON、HTML5、Canvas、SVG等，同时也提供了处理文件I/O的操作，从而使你可以向操作系统读写文件等。PhantomJS的用处可谓非常广泛，诸如前端无界面自动化测试（需要结合Jasmin）、网络监测、网页截屏等。

　　PhantomJS官方地址：http://phantomjs.org/。

　　PhantomJS官方API：http://phantomjs.org/api/。

　　PhantomJS官方示例：http://phantomjs.org/examples/。

　　PhantomJS GitHub：https://github.com/ariya/phantomjs/。

五、PhantomJS安装

下载：http://phantomjs.org/download.html
下载后解压：

把下载下来的phantomjs.exe移到你所用python文件夹下的Script中就可以使用了

安装完毕，下面进行测试一下：

from selenium import webdriver
driver = webdriver.PhantomJS()
driver.get("http://hotel.qunar.com/")
data = driver.title
print data