python爬取京东机票，监控机票，机票价格分析

又到了一年一度的国庆假期。今年国庆、中秋撞到一起，所以打算回家过节。从帝都到海口，每到节假日的机票都是全价票…2400大洋的单程票，消费不起呀！所以为了买到便宜点的机票，我就写了一个简单的爬虫来监控机票价钱。
可能有人会觉得，阿里飞猪，携程什么的都有监控，何必自找麻烦。对于一个程序员来说，能自己做到的事情就不会去使用别人的东西。而且他们的产品不一定能满足我的需求啊。废话不多说，正文分割线!

---

分析目标地址

跟以前一样，爬虫第一件事。分析目标，看他是怎么处理机票查询。
地址：https://jipiao.jd.com/
进入查询页面后，发现京东查机票。一共发了三个异步的get请求来请求机票数据。

这里，我也没弄明白为什么京东要使用3个请求来获取机票信息。多次测试发现，这三个请求中会有概率查不到机票。既然这样，我们代码中也请求三次，直到拿到机票结果信息。

构建请求

首先我们需要构建一个get请求，把参数一起传过去。

#模拟请求头（可以根据自己浏览器访问，直接copy过来。）
headers = {
        'Host': "jipiao.jd.com",
        'Accept-Language': "zh-CN,zh;q=0.8,en;q=0.6",
        'Accept-Encoding': "gzip, deflate, br",
        'X-Requested-With' : 'XMLHttpRequest',
        'Connection': "keep-alive",
        'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36"
    }

    #requests.session()，这样的requests请求，会带上前一次请求的sessionid
    roon_session = requests.session()

    #请求所携带的参数。需要哪些参数，分析目标地址。
    payload = {'depCity': '海口', 'arrCity': '北京', 'depDate': '2017-10-08', 'arrDate': '2017-10-08', 'queryModule': '1',
               'lineType': 'OW', 'queryType': 'jipiaoindexquery'}

    #请求目标
    url = 'https://jipiao.jd.com/search/queryFlight.action'
    #以json分方式读取请求结果（结果返回的是一个json）
    page = roon_session.get(url,headers=headers, params=payload,proxies=proxies).json()

非常简单，几行代码。我们的请求url就构建好了。以上代码直接就能拿到京东的机票查询结果。注释我都写在代码上了，非常简单易懂，这里就不多说。

完整代码

请求代码写完之后，基本上就没有什么东西。 接下来基本上是看你如何去做这个请求。主要是程序的完整性，如何去避免产生问题使程序不能继续执行。
这里我是参照京东自己的三次请求，来写这部分的逻辑。

def Get_Plan_Money():

    times = 1

    headers = {
        'Host': "jipiao.jd.com",
        'Accept-Language': "zh-CN,zh;q=0.8,en;q=0.6",
        'Accept-Encoding': "gzip, deflate, br",
        'X-Requested-With' : 'XMLHttpRequest',
        'Connection': "keep-alive",
        'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36"
    }

    # 使用代理
    proxies = {
        # 'http': 'http://1.31.23.209:80',
        # 'http': 'http://110.243.166.164',
    }
    roon_session = requests.session()

    #代理测试部分
    # url = 'http://ip.chinaz.com/'
    # page = roon_session.get(url,proxies = proxies).text
    # print (page)
    # exit()

    payload = {'depCity': '海口', 'arrCity': '北京', 'depDate': '2017-10-08', 'arrDate': '2017-10-08', 'queryModule': '1',
               'lineType': 'OW', 'queryType': 'jipiaoindexquery'}

    url = 'https://jipiao.jd.com/search/queryFlight.action'

    page = roon_session.get(url,headers=headers, params=payload,proxies=proxies).json()


    if page['data']['flights'] is None:
        # payload = {'depCity': '海口', 'arrCity': '北京', 'depDate': '2017-10-08', 'arrDate': '2017-10-08', 'queryModule': '1',
        #        'lineType': 'OW', 'queryType': 'jipiaoindexquery','queryuuid':page['data']['queryuuid']}
        times = 2
        print ('已进行二次请求')

        page = roon_session.get(url, params=payload, headers=headers, proxies=proxies).json()



    # if page['data']['flights'] is None:
    #     print(page)
    #     exit()
    # 为了确保能发送，这里再进行第三次请求（京东的http 请求了四次。）

    if page['data']['flights'] is None:
        print('已进行第三次请求')
        times = 3
        page = roon_session.get(url, params=payload, headers=headers, proxies=proxies).json()

    # 为了确保能发送，这里再进行第四次请求（京东的http 请求了四次。）
    if page['data']['flights'] is None:
        print('已进行第四次请求')
        times = 4
        page = roon_session.get(url, params=payload, headers=headers, proxies=proxies).json()



    # 为避免第四次请求仍未成功引起程序报错
    if page['data']['flights'] is None:
        print('四次请求均未成功')
        # exit()


    print '%s 从%s飞往%s的飞机'%('20171008','海口','北京')
    print '一共查询到%s个航班'%(len(page['data']['flights']))

    # 创建列表来保存机票价钱
    money_list = []
    for plan in page['data']['flights']:
        print '%s%s-最低价：%s' % (plan['airwaysCn'], plan['flightNo'], plan['bingoLeastClassInfo']['price'])
        money_list.append(plan['bingoLeastClassInfo']['price'])

    # 将列表排序
    money_list.sort()
    # print (money_list)
    return money_list

主要还是，判断返回的机票数据是否存在，如果不存在再进行一次请求。以上代码，我用定时任务跑了两周，没有出现过一次错误。

运行结果

完善功能

拿到了机票数据，我们就可以做很多事情了。
比如我就做了一个简单的邮件系统，每半个小时监控我设定好的数据，然后给我发一封邮件。上班的时候，每半个小时，一个弹窗我就知道机票价格有没有变动，非常直观。
或者使用这些变化的机票，用来做数据分析。比如国庆期间，哪个航线的机票最便宜，打折力度最大。作为自己国庆出行的一个参考。
当然还可以做很多事情，只要你拿到了这些数据，利用起来是很有价值。