Ps：又到了我们的ps环节，不知道上次大家尝试的如何，这次我们将简单介绍如何使用selenium+PhantomJS来抓取异步加载的网页数据信息。当然，selenium是一个非常强大的自动化工具，可以做非常多的事，有兴趣的同学可以自行了解一下。
这次我们的顺序稍稍变化一下，因为牵扯到配置环境。
环境配置
- selenium
pip install -U selenium
建议采用pycharm安装，别忘了我们这个强大的IDE - PhantomJS
这个不同的操作系统有各自对应的版本，这是官网的下载页面http://phantomjs.org/download.html，去下载你对应操作系统版本的phantomjs.下载完后，解压缩可以看到在文件夹的bin目录下有对应的phantomjs的可执行文件，拷贝一份放入一个环境变量可以搜索到的地方，或者直接把phantomjs的bin目录加入环境变量即可~
简单介绍一下PhantomJS，这是一个基于webkit的没有界面的浏览器，也就是它可以像浏览器解析网页，功能非常强大。但是据我测试。。解析的结果不一定和火狐或者chrome完全一样，但是完全够我们用。
简单介绍一下selenium，这是一个web的自动测试工具，可以模拟人的操作。支持市面上几乎所有的主流浏览器，同时也支持PhantomJS这种无界面浏览器。
因为selenium+Firefox或者Chrome太慢了，所以我们选用selenium+PhantomJS。
想试试selenium+Firefox的同学直接下载最新版的Firefox即可，不需要插件，但是chrome的话需要一个插件叫chromedriver，我会放到群里，闲话不多说，gogogo！
代码预览
#coding:utf-8
import unittest
from selenium import webdriver
from bs4 import BeautifulSoup
class seleniumTest(unittest.TestCase):
def setUp(self):
self.driver = webdriver.PhantomJS()
def testEle(self):
driver = self.driver
driver.get('http://www.douyu.com/directory/all')
soup = BeautifulSoup(driver.page_source, 'xml')
while True:
titles = soup.find_all('h3', {'class': 'ellipsis'})
nums = soup.find_all('span', {'class': 'dy-num fr'})
for title, num in zip(titles, nums):
print title.get_text(), num.get_text()
if driver.page_source.find('shark-pager-disable-next') != -1:
break
elem = driver.find_element_by_class_name('shark-pager-next')
elem.click()
soup = BeautifulSoup(driver.page_source, 'xml')
def tearDown(self):
print 'down'
if __name__ == "__main__":
unittest.main()
小伙伴们是不是惊奇的发现今天的代码怎么略不一样了~因为今天除了爬虫相关，顺道教大家一些python 的小知识~
代码剖析
import unittest
什么是unittest呢？看字面意思估计大部分人已经懂了，就是单元测试的意思，这个库是python自带的给我们提供测试用的库，很好用，今天我顺道介绍一下这个库的简单使用。
今天的这段代码是一个简单的测试用例
class seleniumTest(unittest.TestCase):
继承TestCase类，表明这是一个测试类。setup方法是初始化方法，在unittest的main方法调用之初执行，然后tearDown是在测试完成的时候执行，中间的每个方法必须以test开头。这是一些简单的规则，大概了解之后我们就可以开心的使用单元测试了~
def setUp(self):
self.dirver = webdriver.PhantomJS()
首先在我们的setup方法中初始化我们的webdriver，如果你用的是pycharm就可以看到webdriver后面会有多种方法，可以创建火狐的，chrome等各种浏览器的webdriver。
初始化完成之后开始解析，今天我们抓取斗鱼tv的房间信息，用浏览器打开http://www.douyu.com/directory/all，然后选择查看网页源代码，发现竟然可以直接在源码中看到房间信息，心中一喜，难道不是异步的方式么？这太好抓了，直接requests请求然后分析就可以了啊。紧接着再点开第二页，查看网页源代码。发现竟然和第一页一模一样，顿时失望，依然是采用的js异步的方式来加载数据的，只不过这次返回的不是json格式而直接是html。难道我们需要像上一章那样么？nono，今天我们直接使用PhantomJS模拟浏览器的访问过程，然后通过dirver.get方法获取浏览器加载完成后的源码。这样子无论是否异步，我们取到的source都是和我们在浏览器中看到的完全一样。是不是感觉简便了很多呢？
dirver.get('http://www.douyu.com/directory/all')
soup = BeautifulSoup(dirver.page_source, 'xml')
这两句想必大家也能理解了，其实就是换了一种方式去获取到网页源码而已。这次连带js渲染出来的网页也都获取到了。接下来
titles = soup.find_all('h3', {'class': 'ellipsis'})
nums = soup.find_all('span', {'class': 'dy-num fr'})
for title, num in zip(titles, nums):
print title.get_text(), num.get_text()
这段代码是在源码中取出我们想要的信息，可能同学们也发现了，这和我们第三节讲的不太一样，这是因为我们的解析方式换成了xml而不是原本的lxml了，lxml属于一种更加高效的解析模式，但是我为什么要更换呢。因为在我写这段代码的时候发生了一个小插曲，原本我也是用lxml的方式去解析的，但是发现每次只能解析出来32条信息，但是很明显斗鱼每个小分页里最少都有100多个房间，我查看了driver返回的page_source，发现没有问题，于是我想可能是beautifulsoup的解析出了问题，打印soup，发现只有源代码的一半，后面一半莫名奇妙丢失了。原本我以为是网页中有多个