使用selenium和phantomjs爬取斗鱼观看人数

最近有点闲（咸）然后就想复习下前段时间自学的python爬虫，最近也天天在斗鱼上看直播（Sli真猴看）就想着能不能爬个斗鱼各个主播的观看人数和总共的观看人数下来。
然后就开始试水了，结果发现斗鱼的网站全是动态js，普通的urlib2还爬不了，Hhh这个时候前段时间学的selenium和phantomjs自动模拟和无界面浏览器就派上用场辣，然后花了一个小时确定思路和敲完代码吧，但是debug花了两个小时。。有一些莫名其妙的错误吧，比如：
有的循环会报错：NoSuchElementException
stackover上的回答：Error is because fields you are locating are inside iFrame.
So, first you need to switch to iframe and then locate your elements. still, if didn't work, add time delay.
翻译过来大概就是无法定位到界面元素，我找到了一篇解决这个问题的博客：
https://www.cnblogs.com/yufeihlf/p/5689042.html
根据这篇文章，可能是页面还没有加载出来，就对页面上的元素进行的操作，于是我设置了等待时间，果然报错少了很多，但是还是有
一个...不过还是算解决了问题。

---

经过长达十几分钟的测试，所以最后。。。斗鱼总共有：

QQ截图20180831204935.png

煤错，两亿多hhh，中国人民千千万，六分之一在斗奶TV看直播2333

贴下代码：

from selenium import webdriver
from bs4 import BeautifulSoup as bs
import traceback,time

class Douyu():
            #初始化函数
    def __init__(self):                 #加上r防止内容里的转义符号\产生意义，这段代码是使用PhantomJS浏览器创建浏览器对象的意思
        self.driver = webdriver.PhantomJS(r'C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Lib\site-
packages\phantomjs-2.1.1-windows\bin\phantomjs.exe')
        self.num = 0
        self.num2 = 1
        self.count = 0


    def douyuSpider(self):
        self.driver.get("https://www.douyu.com/directory/all")
        # 使用get方法加载页面
        while True:
            try :
                #print(f'第{self.num2}页')  #测试用
                soup = bs(self.driver.page_source, "html.parser")
                # 房间名, 返回列表
                names = soup.find_all("span", {"class" : "dy-name ellipsis fl"})
                # 观众人数, 返回列表
                numbers = soup.find_all("span", {"class" :"dy-num fr"})

                for name, number in zip(names, numbers): #zip() 函数用于将可迭代的对象作为参数，将对象中对应的元素打包成一个
个元组，然后返回由这些元组组成的列表。
                    print("观众人数: -" + number.get_text().strip() + u"-\t房间名: " + name.get_text().strip())
                    self.num += 1
                    count = number.get_text().strip()
                    if count[-1]=="万":
                        countNum = float(count[:-1])*10000
                    else:
                        countNum = float(count)
                    self.count += countNum

                # class="shark-pager-next"是下一页按钮，click() 是模拟点击
                self.driver.find_element_by_class_name("shark-pager-next").click()
                # 如果在页面源码里没有找到"shark-pager-disable-next"，其返回值为-1，可依次作为判断条件
                #self.num2 = self.num2 + 1
                time.sleep(2)
                if(self.driver.page_source.find("shark-pager-disable-next") != -1):
                    print('已经到达最后一页！')
                    break
            except Exception as e:#异常捕获
                 print(f'traceback.print_exc():{traceback.print_exc()}') 
                 continue



if __name__ == '__main__':
    d = Douyu()
    d.douyuSpider()


'''
有的循环会报错：NoSuchElementException
stackover上的回答：Error is because fields you are locating are inside iFrame. 
So, first you need to switch to iframe and then locate your elements. still, if didn't work, add time delay.
翻译过来大概就是无法定位到界面元素，我找到了一篇解决这个问题的博客：
https://www.cnblogs.com/yufeihlf/p/5689042.html
根据这篇文章，可能是页面还没有加载出来，就对页面上的元素进行的操作，于是我设置了等待时间，果然报错少了很多，但是还是有
一个...不过还是算解决了问题。
'''