北京地铁运营公司全年客运量变化趋势图

2015年8月14日至2016年5月29日北京地铁运营公司日客流量变化趋势

数据来源：北京地铁官网

我是一只小爬虫，咿呀咿呀呦

技术：python

很早以前就想做一只小小爬虫，奈何一直没那个时间与心思，今天在昨天学习的基础上，更进一步，用python做了一只简陋的小爬虫，爬取了北京地铁官网上每日公布的日客流量数据，做了一份报表

1、Python小爬虫部分

1、1 学习知识

• Python基础知识
• Python中urllib和urllib2库的用法
• Python正则表达式
• Python爬虫框架Scrapy
• Python爬虫更高级的功能

由于本爬虫实现及逻辑简单因此并未使用到后面的框架，登录等部分

1、2 urllib部分

#encoding:UTF-8
import urllib.request
 
url = "http://www.baidu.com"
data = urllib.request.urlopen(url).read()
data = data.decode('UTF-8')
print(data)

1、3 爬取北京地铁官网数据

• 主要使用urllib模块

• 爬取页面分析

url如下：
http://www.bjsubway.com/support/cxyd/klxx/index_10.html
并且每一个部分都一样，只是数字10改变，从2到147个页面

• 需要数据分析

  数据在一个P标签内，因此可以使用re.compile('

  (.+?)

  ')正则简单匹配

1、4 前期爬取工作代码

import re
import urllib.request
import urllib
import xlsxwriter as xls

def GetOnePage(url):
    res=[]
    urlop=urllib.request.urlopen(url)
    data=urlop.read()
    data = data.decode('GBK')
    linkre = re.compile('
(.+?)
')
    for x in linkre.findall(data):
        res.append(x)
    return res
data=[]
url='http://www.bjsubway.com/support/cxyd/klxx/index.html' 
data+=GetOnePage(url)
for i in range(2,148):
#for i in range(2,3):
    url='http://www.bjsubway.com/support/cxyd/klxx/index_'+str(i)+'.html'
    #print(url)
    data+=GetOnePage(url)

workbook  = xls.Workbook('北京地铁原始数据.xlsx')
worksheet = workbook.add_worksheet()  #()中可以加入名字
worksheet.write_column('A1',data)

workbook.close()

本来想一步到位，从爬去到保存成图，但是北京地铁官网对多次发送的IP会进行拦截。人家有看门狗狗。囧~~~

北京地铁旺财

其实最后我的数据也没有拉全，可能在中间请求的过程中已被拦截。没那么多时间管这个，就将就用了拉取的数据。

2、数据分析部分

2.1 原始数据分析

• 正确爬取的数据
  5月25日（周三），北京地铁公司所辖15条运营线路日客运量为923.73万人次（不含京港地铁所辖：4号线、14号线、大兴线客流）。各条线路日客运量详见下图

首先可以用split(' , ')截取时间，之后线路一定是在条前的，客运量一定在为 XXX万之间的
当然原本我是这么自以为是的，因此出现了各种问题

• 正确爬取的另类数据
  4月29日（周五），北京地铁公司所辖15条运营线路日客运量再创新高，达到1050.26万人次（不含京港地铁所辖：4号线、14号线、大兴线客流）。各条线路日客

在这条数据中，日客运量数据是在达到XXX万人次

• 错误爬取的数据
  

由于正则的简单，难免会爬取一些错误的数据

2.2 将数据进行处理

• 经过之前的分析，现将每一条数据，截取出日期，管辖线路条数，日客运量三列数据

• 代码

import xlrd
import os
import xlsxwriter as xls
#读取xlxs文件，将车站保存到内存
filename=r'{0}\北京地铁原始数据.xlsx'.format(os.getcwd())
data = xlrd.open_workbook(filename)
sheetname = data.sheet_names()
sheet = data.sheet_by_index(0)
rows = sheet.nrows
cols = sheet.ncols
time=[]
lines=[]
renshu=[]
for row in range(rows):
    temp=sheet.row_values(row)[0].split('，')
    inX=temp[1].index('条')  
    inW=0
    if '为' in temp[1]:
        inW=temp[1].index('为')
    elif '达到' in temp[1]:
        intW =temp[1].index('达到')
    else:
        continue
    inWan=temp[1].index('万')
    time.append(temp[0])
    lines.append(temp[1][inX-2:inX])    
    renshu.append(float(temp[1][inW+1:inWan]))
time=time[::-1]
lines=lines[::-1]
renshu=renshu[::-1]

workbook=xls.Workbook('北京地铁运营公司全年日客运量.xlsx')
worksheet=workbook.add_worksheet('北京地铁运营公司')
bold=workbook.add_format({'bold':1})
#添加表头
headings=['时间','线路','日客运量']
worksheet.write_row('A1',headings,bold)
#添加内容
worksheet.write_column('A2',time)
worksheet.write_column('B2',lines)
worksheet.write_column('C2',renshu)
#创建新的图表，折线图
chart=workbook.add_chart({'type':'line'})
chart.add_series({
     'name':       '={0}!$B$1'.format('北京地铁运营公司'),
     'categories': '={0}!$A$2:$A${1}'.format('北京地铁运营公司',len(time)+1),
     'values':     '={0}!$C$2:$C${1}'.format('北京地铁运营公司',len(time)+1),
})
#添加表头和xy
chart.set_title({'name':'北京地铁运营公司全年日客运量变化趋势'})
chart.set_x_axis({'name':'时间'})
chart.set_y_axis({'name':'人数(万人)'})
#Set an Excel chart style. Colors with white outline and shadow.
chart.set_style(10)
# Insert the chart into the worksheet (with an offset).
worksheet.insert_chart('E2', chart, {'x_offset': 25, 'y_offset': 10})
workbook.close()

说明：以上代码主要就是简单的逻辑处理，并通过昨天学到的Python生成excel知识做的

3、结果展示

2015年8月14日至2016年5月29日北京地铁运营公司日客流量变化趋势

不对数据做过多的分析，以上。