今天主要是介绍一下mongodb的使用，通过爬取中国天气网的你所在城市一年的天气历史数据，可以简单掌握mongodb的使用；
windows下MongoDB的安装及配置这个介绍的挺详细的，基本一看就懂；
mongodb启动后，下面来分析一下要爬的网址
主要是这个3个点吧：
1、首先分析一下这个天气的网页数据，
Paste_Image.png
从这里可以看出主要是json数据，这个就方便多了；
2、下面分析一下如何每个月的数据，
这里可以得到每个月天气的url
3、还有这个请求的时候，记得要用postman请求一下，确认下请求的headers需要带哪些头部数据；
下面是存到本地csv的代码：
import requests
import json
import csv
class Weather():
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.110 Safari/537.36',
'Referer': 'http://www.weather.com.cn/weather40d/101010100.shtml'
}
#新建列表，用来存储获取的数据
a = []
#获取一年的天气数据
def get_data(self):
global year
year = input('请输入年份:')
month = ['01', '02', '03', '04', '05', '06', '07', '08', '09', '10', '11', '12']
for i in month:
url = 'http://d1.weather.com.cn/calendar_new/' + str(year) + '/101280601_' + str(year) + str(
i) + '.html?_=1496558858156'
html = requests.get(url, headers=self.headers).content
global datas
#天气信息的json数据
datas = json.loads(html[11:])
self.get_info()
#获取天气的具体数据
def get_info(self):
for data in datas:
date = data['date']
date2 = data['nlyf'] + data['nl']
hgl = data['hgl']
hmax = data['hmax']
hmin = data['hmin']
alins = data['alins']
als = data['als']
info = {
'日期': date,
'农历日期': date2,
'降水概率': hgl,
'最高温度': hmax,
'最低温度': hmin,
'宜': alins,
'不宜': als,
}
#去重，获取一年的数据
if info not in self.a:
if info['日期'][:4] == year:
self.a.append(info)
if __name__ == '__main__':
sz = Weather()
sz.get_data()
#存储到本地的csv文件
csv_name = ['日期', '降水概率', '最高温度', '最低温度', '农历日期', '宜', '不宜']
with open('weather_sz.csv', 'w', newline = '',encoding='utf-8')as csvfile:
write = csv.DictWriter(csvfile, fieldnames=csv_name)
writer = csv.writer(csvfile)
write.writeheader()
write.writerows(sz.a)
csvfile.close()
运行结果：
2017深圳一年的天气数据.png
下面在这个基础上存储到mongodb，
import requests
from lxml import etree
import json
import pymongo
# 连接到Mongo
conn = pymongo.MongoClient(host = 'localhost', port = 27017)
# 选择或创建数据库
weather = conn['weather']
# 选择或创建数据集合
newsdata = weather['weather_infos']
class Weather():
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
'Referer': 'http://www.weather.com.cn/weather40d/101280601.shtml'
}
# 新建列表，用来存储获取的数据
all_info = []
def __init__(self):
pass
# 获取一年的天气数据
def get_data(self):
global year
month = ['01', '02', '03', '04', '05', '06', '07', '08', '09', '10', '11', '12']
for i in month:
url = 'http://d1.weather.com.cn/calendar_new/' + str(year) + '/101280601_' + str(year) + str(
i) + '.html?_=1496558858156'
html = requests.get(url, headers=self.headers).content
global datas
datas = json.loads(html[11:])
self.get_info()
# 获取天气的具体数据
def get_info(self):
for data in datas:
date = data['date']
date2 = data['nlyf'] + data['nl']
history_rain = data['hgl']
history_max = data['hmax']
history_min = data['hmin']
tmax = data['max']
tmin = data['min']
time = data['time']
w1 = data['w1']
wd1 = data['wd1']
alins = data['alins']
als = data['als']
info = {
'日期': date,
'农历日期': date2,
'降雨概率': history_rain,
'历史最高': history_max,
'历史最低': history_min,
'最高温度': tmax,
'最低温度': tmin,
'time': time,
'w1': w1,
'wd1': wd1,
'宜': alins,
'忌': als,
}
#先把去重的数据存储到列表all_info
if info not in self.all_info:
if info['日期'][:4] == year:
self.all_info.append(info)
#再把列表的数据存到mongodb
def store_mongodb(self):
self.get_data()
for one_info in self.all_info:
newsdata.insert_one(one_info)
if __name__ == '__main__':
year = '2017'
tianqi = Weather()
tianqi.store_mongodb()
运行的结果：
2017深圳一年的天气数据.png
小结：
1、存到本地和mongodb对比后，发现差别不是很大，只是多了连接到mongodb和存储到mongodb的语句；主要这里没有涉及数据库的其他操作，所以看起来差别不大；
2、MongoDB 教程
3、pymongdb的使用——数据去重
4、MongoDB的学习
5、mongodb的可视化工具:
MongoVUE 、Mongo Management Studio，工具有很多，其他的可自己查找；