2018-03-04 使用 selenium 模拟浏览器爬取动态数据

前情提要:

女友毕业论文需要进行数据分析, 要从一个舆情网站爬取大量数据, 导入 excel 里进行分析. 遂做了一个爬虫帮她爬取, 不料该网站部分数据是 js 动态获取, 因此学习了 selenium 的 webdriver 爬取动态数据

技术拆分:

1. 爬取目标网站并缓存
2. 提取网页信息, 本次使用 pyquery
3. 建立数据类, 保存提取的信息
4. 导入 excel 里, 本次使用 openpyxl

问题一: 使用 requests 爬取后部分数据未加载�

本来好好的用 requests 库进行爬取, 因为要登录, 遂登录后拿到了 cookie. 再次爬取后, 发现部分数据还未加载, requests 库中不存在等待加载的方法, 查到主流方案是使用 selenium 的 webdriver. 由于 phantomjs 已不再被支持, 遂使用 chromedriver

问题二: 是否能像使用 requests 库一样直接通过 add cookie 的方式访问需要登录的页面

结论是: 可以, 但是使用方式有差别, 此处有两个要点

1. webdriver 里的 cookie 格式和 requests 里的是有所不同的
2. 要先访问一下网站首页, 然后 add cookies, 再访问需要登录的目标网页即可

        driver.get('http://yuqing.gsdata.cn')
        cookies = driver.get_cookies()
        print('cookies', cookies)
        for key, value in cookie_dict.items():
            c = {
                'domain': '.gsdata.cn',
                'httponly': False,
                'path': '/',
                'secure': False,
                'name': key,
                'value': value,
            }
            driver.add_cookie(c)
        driver.get(url)
        time.sleep(5)
        # driver.save_screenshot('/Users/natural/Desktop/{}.png'.format(url[-2:]))
        # 写入缓存目录
        with open(path, 'wb') as f:
            f.write(driver.page_source.encode())
        content = driver.page_source

源码

import os
import requests
import time
from pyquery import PyQuery as pq
from openpyxl import Workbook
from selenium import webdriver


driver = webdriver.Chrome(executable_path='/Users/natural/Desktop/chromedriver')
log = print


class Model():
    """
    基类, 用来显示类的信息
    """
    def __repr__(self):
        name = self.__class__.__name__
        properties = ('{}=({})'.format(k, v) for k, v in self.__dict__.items())
        s = '\n<{} \n  {}>'.format(name, '\n  '.join(properties))
        return s

class News(Model):
    def __init__(self):
        self.title = ''
        self.description = ''
        self.start_date = ''
        self.related = ''


def cached_url(url):
    """
    缓存, 避免重复下载网页浪费时间
    """
    folder = 'cached'
    filename = url.split('=', 1)[-1] + '.html'
    path = os.path.join(folder, filename)
    if os.path.exists(path):
        with open(path, 'rb') as f:
            s = f.read()
            return s
    else:
        # 建立 cached 文件夹
        if not os.path.exists(folder):
            os.makedirs(folder)
        # 发送网络请求, 把结果写入到文件夹中
        cookie_dict = {
        }
        driver.get('http://yuqing.gsdata.cn')
        cookies = driver.get_cookies()
        print('cookies', cookies)
        for key, value in cookie_dict.items():
            c = {
                'domain': '.gsdata.cn',
                'httponly': False,
                'path': '/',
                'secure': False,
                'name': key,
                'value': value,
            }
            driver.add_cookie(c)
        driver.get(url)
        time.sleep(5)
        # driver.save_screenshot('/Users/natural/Desktop/{}.png'.format(url[-2:]))

        with open(path, 'wb') as f:
            f.write(driver.page_source.encode())
        content = driver.page_source
        log('content', content)

    return content


def news_from_div(div):
    """
    从一个 div 里面获取到一个电影信息
    """
    root = pq(div)
    # tbody = root('tbody')
    tr_list = root('tr')
    news = []
    for tr in tr_list[1:]:
        sub_root = pq(tr)
        item = sub_root('td')
        n = News()
        n.title = item.eq(0).text()
        n.description = item.eq(1).text()
        n.start_date = item.eq(2).text()
        n.related = item.eq(3).text()
        news.append(n)
        log('item', n)
    return news


def news_from_url(url):
    """
    从 url 中下载网页并解析出页面内所有的电影
    """
    page = cached_url(url)
    e = pq(page)
    items = e('.subscr-tb')
    # log('debug items', items)
    # 调用 movie_from_div
    news = news_from_div(items)
    return news


def write_to_excel(news):
    # 在内存中创建一个workbook对象，而且会至少创建一个 worksheet
    wb = Workbook()

    ws = wb.get_active_sheet()
    ws.title = 'New Title'  # 设置worksheet的标题

    # 设置单元格的值
    height = len(news)
    for i in range(height):
        new = news[i]
        row_index = i + 1
        # log('debug title', new.title)
        ws.cell(row=row_index, column=1).value = new.title
        ws.cell(row=row_index, column=2).value = new.description
        ws.cell(row=row_index, column=3).value = new.start_date
        ws.cell(row=row_index, column=4).value = new.related
    # 最后一定要保存！
    wb.save(filename='new_file.xlsx')


def main():
    news = []
    for i in range(0, 39):
        url = 'http://yuqing.gsdata.cn/yuqingSubscribe/index?page={}'.format(i)
        page_news = news_from_url(url)
        news += page_news

    write_to_excel(news)

if __name__ == '__main__':
    main()