简述
继续分析抓取气象数据练习，本节主要抓取实时气象数据。抓取数据请勿存档，商用请联系官方。
爬取对象
抓取中央气象台城市实时数据
使用包
import pymssql # MS Sql Server 操作
import json # json 解析
import time, os
import requests
import datetime
实现步骤
1、抓取对象分析
-
通过
F12捕获页面内容，分析页面加载内容。
实时数据 通过加载数据包分析得知抓取实时数据流程可抽象为以下几步
1、download_page("http://www.nmc.cn/f/rest/province") # 请求所有直辖市、省列表 list x
2、download_page("http://www.nmc.cn/f/rest/province/x") # 请求 x 下所有城市列表 list y
3、解析城市 y 的气象数据 z_weather、空气质量数据 z_aqi，并将其保存至数据库
2、抓取方式分析
分析页面请求数据包
- 方式一、参考Python练习系列_01，使用
BeautifulSoup解析页面html - 方式二、直接请求服务，解析json
download_page("http://www.nmc.cn/f/rest/real/y") # 请求城市 y 的气象数据 z_weather
download_page("http://www.nmc.cn/f/rest/aqi/y") # 请求城市 y 的空气质量数据 z_aqi
3、抓取与本地保存核心代码
def main():
now = datetime.datetime.now()
print(now.strftime('%H%M%S%f'))
print("开始时间：" + now.strftime('%Y-%m-%d %H:%M:%S'))
json_provices = download_page("http://www.nmc.cn/f/rest/province").json()
for json_provice in json_provices:
json_citys = download_page("http://www.nmc.cn/f/rest/province/" + json_provice["code"]).json()
for json_city in json_citys:
try:
json_weather = download_page("http://www.nmc.cn/f/rest/real/" + json_city["code"] + "?_=" + now.strftime('%H%M%S%f')).json()
json_aqi = download_page("http://www.nmc.cn/f/rest/aqi/" + json_city["code"] + "?_=" + now.strftime('%H%M%S%f')).json()
parse_html_weather_aqi(json_weather,json_aqi)
except:
print('【异常】：请求解析异常，city 代码 ' + json_city["code"])
#time.sleep(1) #延迟 N 秒，进行第二次抓取
#print(json_city["city"]+json_city["code"])
now = datetime.datetime.now()
print("结束时间：" + now.strftime('%Y-%m-%d %H:%M:%S'))
if 'forecasttime' in json_aqi.keys():
forecasttime = json_aqi["forecasttime"]
sql="select count(id) from Space0008A where column_0='%s' and column_1='%s' and column_2='%s' " %(province,city,forecasttime)
isRepeat = ms.ExecQuery(sql.encode('utf-8'))
if isRepeat[0][0] == 0:
aq = json_aqi["aq"]
aqi = json_aqi["aqi"]
text = json_aqi["text"]
sql = "insert into Space0008A values ('%s','%s','%s','%s','%s','%s') " %(province,city,forecasttime,aq,aqi,text)
ms.ExecNonQuery(sql.encode('utf-8'))
print('【AQI】：' + province + " " + city + " "+ forecasttime)
4、数据库操作编码格式
- 返回
json格式解析
download_page("http://www.nmc.cn/f/rest/province").json()
# json()、content、text
- 数据库操作编码格式
sql = "insert into Space0008A values ('%s','%s','%s','%s','%s','%s') " %(province,city,forecasttime,aq,aqi,text)
ms.ExecNonQuery(sql.encode('utf-8'))
5、pymssql 安装失败
部署时发现 pymssql安装失败，后续尝试多种安装方式均失败，异常提示如下：
upgrading pip error UnicodeDecodeError: 'utf-8' codec can't decode byte ???? in position #####: invalid continuation byte
- 猜测可能是系统版本字符集原因，根据错误代码定位原始文件修改，结果引发更多的编码问题，放弃
try:
return s.decode(sys.__stdout__.encoding)
except UnicodeDecodeError:
return s.decode('cp1252') #decode('utf_8')
- 尝试检查
pip版本，因刚装的服务器，python均安装的最新的 3.6，pip版本也是最新的，使用命令更新也提示已经是最新，失败 - PyPI 上检查
pymssql版本
pymssql
pymssql版本
基本怀疑问题出在python版本上了，对比检查开发环境，确定问题为python版本太高，卸载更换为 3.5，顺利完成安装
6、bat 执行文件
@echo off
E:
cd E:\xxxx\01_xxxx\气象数据抓取
start python spider_www.nmc.cn_city.py
exit
总结
本轮示例主要实现 json 数据包抓取，对比页面抓取各有优缺点，因根据实际使用场景选择，期间涉及Sql Server 数据库存储操作（SQLite 操作类似）、pip install包安装问题解决思路分析等内容，至此完成气象实时数据抓取......
运行示意
源码：
MSSql_SqlHelp
spider_www.nmc.cn_city