使用Selenium+Chrome+BeautifulSoup爬取统计局数据

上周，有同事跟我说：“听说你会写Python，那能请你帮我写个爬虫吗？”

之前虽然对爬虫也仅仅停留在最基础的地方，但是既然有这个机会，为什么不借着这个机会学习一下呢？于是就答应了下来，开始了一周的爬坑之旅。

需要爬取的数据是国家统计局里的国家数据，主要爬取固定资产与房地产两个父指标下，所有子指标里所有省市自2013年以后的数据。（http://data.stats.gov.cn/easyquery.htm?cn=E0101）

image.png

使用浏览器自带的开发者工具，观察一下需要爬取的页面，发现需要采集的数据是使用js生成的，这样是无法通过requests直接获取数据的。在这里我没有去解析请求获取数据的js代码块，而是采取了通过selenium模拟操作chrome浏览器，获得渲染后的页面，再使用beautifulsoup对源码进行解析，抓取需要的数据。

可能有小伙伴要问了，chrome是浏览器，这个不必多说；这selenium跟beautifulsoup是什么鬼？selenium其实是一款web自动测试工具，它可以模拟用户的操作，在我们的例子里点击按钮靠的就是它，当然它还有很多功能，在后面会提到；beautifulsoup是一个能从XML或HTML中提取数据的python库，功能强大，使用简单，是一款不可多得的好工具。

思路与使用的工具就先介绍到这，下面可以动手了！

首先引入需要使用的模块：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup
from time import sleep
import pandas as pd

在这里需要说明一下，引入pandas是因为在网页中每个省的数据是单独展示的，需要在取完一个子指标中所有数据后将所有省市的数据合并为一个文件，这时就需要用到pandas的concat方法了。

观察一下我们需要爬取的页面，其实省市以及父指标子指标都是固定的（这是国家统计的数据，应该不会随意调整），这样其实可以把需要爬取的数据的标签拿出来拼成参数列表（其实可以直接从页面上抓取指定标签下的内容，这里偷了个懒。。。）。不过这里需要注意的是，固定资产投资与房地产投资下的子指标的标签id不是固定的，也是根据js生成的。

  AREAS = ['110000', '120000', '130000', '140000', '150000', '210000','220000', '230000', '310000', '320000', '330000', '340000','350000', '360000', '370000', '410000', '420000', '430000','440000', '450000', '460000', '500000', '510000', '520000','530000', '540000', '610000', '620000', '630000', '640000','650000']
  FATHERPOINTS = ['treeZhiBiao_6_a', 'treeZhiBiao_7_a']
  SONPOINTS1 = ['treeZhiBiao_9', 'treeZhiBiao_10', 'treeZhiBiao_11']
  SONPOINTS2 = ['treeZhiBiao_9', 'treeZhiBiao_10', 'treeZhiBiao_11']
  tree1 = [FATHERPOINTS[0], SONPOINTS1, AREAS]
  tree2 = [FATHERPOINTS[1], SONPOINTS2, AREAS]
  TargetPath = [tree1, tree2]

接下来写一个自动操作的方法：

def source_code(fatherPoint, sonPoint, areaCode):
    #chrome设置为headless模式，也就是无界面浏览器。在window下需要同时设置--disable-gpu
    chrome_options = Options()
    chrome_options.add_argument('--headless')
    chrome_options.add_argument('--disable-gpu')
    #如果想要看到底是怎么模拟的，可以只使用webdriver.Chrome()
    browser = webdriver.Chrome(chrome_options=chrome_options)
    try:
        #浏览器打开目标url
        browser.get('http://data.stats.gov.cn/easyquery.htm?cn=E0101')
        #这里采用了一个显式等待
        locator = (By.XPATH, '//div[@class="mr-content"]')
        WebDriverWait(browser, 20, 0.5).until(
        EC.presence_of_element_located(locator))
        #这里为啥要用一个强制等待呢？因为如果这里不加强制等待会找不到元素，也可能是我设置的有问题
        sleep(1)
        #点击父指标
        browser.find_element(
            By.XPATH, '//a[@id="{}"]'.format(fatherPoint)).click()
        sleep(1)
        #点击子指标
        browser.find_element(
            By.XPATH, '//li[@id="{}"]'.format(sonPoint)).click()
        #点击地区的下拉按钮
        browser.find_element(
            By.XPATH, '//div[@id="mySelect_reg"]/div[@class="dtHtml"]/div[@class="dtHead"]').click()
        #点击需要查看的地区
        browser.find_element(
            By.XPATH, '//div[@id="mySelect_reg"]/div[@class="dtHtml"]/div[@class="dtBody"]/div[@class="dtList"]/ul/li[@code="{}"]'.format(areaCode)).click()
        #点击时间的下拉按钮
        browser.find_element(
            By.XPATH, '//div[@id="mySelect_sj"]/div[@class="dtHtml"]/div[@class="dtHead"]').click()
        #在指定时间的栏内填入需要查询的时间区间，并点击确定
        browser.find_element(
            By.XPATH, '//div[@id="mySelect_sj"]/div[@class="dtHtml"]/div[@class="dtBody"]/div[@class="dtFoot"]/input[@class="dtText"]').send_keys("2013-2017")
        browser.find_element(By.XPATH, '//div[@class="dtTextBtn"]').click()
        #获取渲染后的网页代码
        sourceCode = browser.page_source
        browser.quit()
        return sourceCode
    finally:
        browser.quit()

然后再写一个解析网页的方法：

def annalysis_source_code(source_code, sonPoint):
    #获取当前抓取父指标的名称作为文件名
    global name
    soup = BeautifulSoup(source_code, 'lxml')
    region = soup.select(
        'div[id="mySelect_reg"] > div[class="dtHtml"] > div[class="dtHead"]')[0].get_text()
    print(region)
    name = soup.select('li[id="{}"] > a'.format(sonPoint))[0].get("title")
    headers = []
    headerArr = soup.select(
        'table[class="public_table table_fix"] > thead > tr[class="tr-title"] > th')
    for i in headerArr:
        headers.append(i.span['code'])
    tables = []
    rowArr = soup.select('table[class="public_table table_fix"] > tbody > tr')
    for rowSoup in rowArr:
        blocks = []
        row = rowSoup.select('td')
        for i in row:
            blocks.append(i.get_text())
        tables.append(blocks)
    #创建dataframe，并转置（因为爬下来的数据列名都是日期，转置一下看起来比较数据）
    df = pd.DataFrame(tables, columns=headers)
    df = df.T
    columnName = df.ix['zb'].values.tolist()
    df.columns = columnName
    df = df.drop(['zb'])
    df['region'] = region
    return df

完整代码请移步我的git项目：https://github.com/DeathShort/python-clawer-for-national-bureau-of-statistics