交作业 天气预报

爬取中国天气网 你所在城市过去一年的历史数据
http://www.weather.com.cn/forecast/

首先打开这个网站，搜索杭州

搜索页

发现40天这里可以前滚

40天

往前翻了几个月，发现多了几个js，看小伙伴的文章学到了这里是异步加载js

network分析

分析

分析

分析

通过对比分析以及参考小伙伴的文章，对url进行分析

http://d1.weather.com.cn/calendar_new/2017/101210101_201703.html?_=1495879439388
101210101是和城市有关，1495879439388是时间戳，略去不影响
代码实现：
url = "http://d1.weather.com.cn/calendar_new/" + str(year) + "/101210101_" + year + month + ".html"

继续分析

response

response

response

喜闻乐见，直接就返回json了。
每一次都要让自己提高一点，于是我这次选择存为csv文件。下次再试试MongoDB。
不对废话了，直接贴代码了。

# -*- coding:utf-8 -*-

import json
import requests
import csv
import sys

reload(sys)
sys.setdefaultencoding('utf-8')


def request(year, month):
    url = "http://d1.weather.com.cn/calendar_new/" + str(year) + "/101210101_" + year + month + ".html"
    headers = {
        "User-Agent": "Mozilla / 5.0(Windows NT 6.1;Win64;x64)"
                      "AppleWebKit / 537.36(KHTML, likeGecko)"
                      "Chrome / 58.0.3029.110"
                      "Safari / 537.36",
        "Referer": "http://www.weather.com.cn/weather40d/101210101.shtml"
    }
    return requests.get(url=url, headers=headers)


def save(req):
    json_str = req.content.decode(encoding='utf-8')[11:]
    weathers = json.loads(json_str)
    for weather in weathers:
        with open('weather_hangzhou.csv', 'a') as f:
            f_csv = csv.writer(f)
            f_csv.writerow([weather.get('date'), weather.get('wk'), weather.get('hmax'),
                            weather.get('hmin'), weather.get('hgl')])


if __name__ == '__main__':
    year = input('请输入年份')
    year = str(year)
    with open('weather_hangzhou.csv', 'w') as f:
        f_csv = csv.writer(f)
        f_csv.writerow(['日期', '星期', '最高温', '最低温', '降水概率'])
    for month in range(1, 13):
        month = str(month) if month > 9 else "0" + str(month)
        save(request(year, month))

结果

注意点：
1.请求头要加上referer参数，否则返回403。
"这是因为这是浏览器发出请求时，会通过Referer告诉服务器我是从哪个页面链接过来的，有些网站会对这个做验证，主要时为了防止别人盗链的问题。
这个中国天气网，就是验证了Referer里的域名是不是自己的，不是的话就会403禁止访问服务器。"引用小伙伴的原话。

2.Pyhton2.7编码问题

# -*- coding:utf-8 -*-

import sys

reload(sys)
sys.setdefaultencoding('utf-8')

这几行很重要，基本的编码问题都能解决。

3.多食用官方文档，其实我对Requests包不是很熟，就去查了一下官方文档。

Requests

Requests

多么可爱的开发者啊。

这次的爬虫作业虽然花的时间有点多，但是学到了很多东西，除了以上所说的，还用上了上次直播学到的PyCharm的dubug模式，断点调试让我找bug快了很多。

最后，再次感谢两位小伙伴的干货，站在巨人的肩膀上就是这么嗨皮。
http://www.jianshu.com/p/93815a8beb8f
http://www.jianshu.com/p/ff7bb9fc9533