python天气数据可视化分析
引言
网：tianqihoubao
对深圳近几月的天气进行分析可视化
需要用的库
pandas:用于数据挖掘，数据分析 requests：用来get网页数据建立连接 bs4：用来分析html数据进行格式化 matplotlib：用于绘制可视化图形，类似 MATLAB 的绘图工具，是个很厉害的库
过程
get函数
用于get网页数据并进行分析讲需要的天气数据进行导出
def get_data(weather_url):
rseponse = requests.get(weather_url)
html = rseponse.content.decode('gbk')
soup = BeautifulSoup(html, 'html.parser')
tr_lsit = soup.find_all('tr')
# 为啥是tr见下图
# 寻找tr标签下的所有内容
print(tr_lsit)
dates, conditions, temp, fengxiang = [], [], [], []
for data in tr_lsit[1:]:
sub_data = data.text.split()
# ['2022年09月30日', '雷阵雨', '/雷阵雨', '27℃', '/', '32℃', '东风', '1-2级', '/东风', '1-2级']
dates.append(sub_data[0])
conditions.append(''.join(sub_data[1:3]))
temp.append(''.join(sub_data[3:6]))
fengxiang.append(''.join(sub_data[6:9]))
# join函数连接字符串
# 数据保存
_data = pandas.DataFrame()
_data['日期'] = dates
_data['天气情况'] = conditions
_data['气温'] = temp
_data['风向'] = fengxiang
return _data数据都在tr便签里所以只提取tr标签里的数据
调用
提取深圳近三个月的数据，并用pandas库中的concat将三个get完的数据进行整合
# 定义成函数形式进行封装
data_month_1 = get_data('http://www.tianqihoubao.com/lishi/shenzhen/month/202209.html')
data_month_2 = get_data('http://www.tianqihoubao.com/lishi/shenzhen/month/202210.html')
data_month_3 = get_data('http://www.tianqihoubao.com/lishi/shenzhen/month/202211.html')
# 使用drop参数来避免将旧索引添加为列：
data = pandas.concat([data_month_1, data_month_2, data_month_3]).reset_index(drop=True)
# 导出csv表格
data.to_csv('shenzhen.csv', index=False, encoding='utf-8')
# 读表
data1 = pd.read_csv('shenzhen.csv')表格展示
导出的表格数据如下
数据处理
# 画图
# 设置字体
plt.rcParams['font.sans-serif'] = ['SimHei']
# 解决负号的乱码问题
plt.rcParams['axes.unicode_minus'] = False
# 读表
datalsit = pandas.read_csv('shenzhen.csv',encoding='utf-8')
# 数据处理
# 利用split分裂字符串‘/’取出最高最低气温
datalsit['最低气温'] = datalsit['气温'].str.split('/',expand=True)[0]
datalsit['最高气温'] = datalsit['气温'].str.split('/',expand=True)[1]
# 取出温度中的℃符号
datalsit['最低气温'] = datalsit['最低气温'].map(lambda x:int(x.replace('℃','')))
datalsit['最高气温'] = datalsit['最高气温'].map(lambda x:int(x.replace('℃','')))
dates = datalsit['日期']
highs = datalsit['最高气温']
lows = datalsit['最低气温']
此时清洗完的数据是纯数字了
画图
直接看注释吧
# 设置可视化图形规格
fig = plt.figure(dpi=128,figsize=(10,6))
# 线形图的线条颜色粗细调整
plt.plot(dates,highs,c='red',alpha=0.5)
plt.plot(dates,lows,c='blue',alpha=0.5)
# 线条下方覆盖为蓝色
plt.fill_between(dates,highs,lows,facecolor='blue',alpha=0.2)
# 图表格式
# 设置图标的图形格式
plt.title('2022深圳市9-12月天气情况',fontsize=24)
plt.xlabel('日期',fontsize=12)
# # x轴标签倾斜 默认30度 可通过rotation=30改变
fig.autofmt_xdate()
plt.ylabel('气温',fontsize=12)
# 刻度线样式设置
plt.tick_params(axis='both',which='major',labelsize=10)
# 修改刻度 数据每10组显示1个
plt.xticks(dates[::10])
# 绘制风向扇形图
# 提取出风向的各类型占比 数据清洗
fengxiang=data1['风向'].value_counts()
fengxiang = fengxiang[fengxiang.values > 3]
plt.figure(figsize=(15,5))
# 保住饼图是圆 不是默认椭圆
plt.axes(aspect = 'equal')
plt.pie(x =fengxiang.values,
labels = fengxiang.index,
autopct = "%.2f%%",
radius = 1
)
plt.title('风向占比')
# 显示
plt.show()结果
完整代码
import requests
from bs4 import BeautifulSoup
import pandas
import pandas as pd
from matplotlib import pyplot as plt
def get_data(weather_url):
rseponse = requests.get(weather_url)
html = rseponse.content.decode('gbk')
soup = BeautifulSoup(html, 'html.parser')
tr_lsit = soup.find_all('tr')
# 寻找tr标签下的所有内容
print(tr_lsit)
dates, conditions, temp, fengxiang = [], [], [], []
for data in tr_lsit[1:]:
sub_data = data.text.split()
# ['2022年09月30日', '雷阵雨', '/雷阵雨', '27℃', '/', '32℃', '东风', '1-2级', '/东风', '1-2级']
dates.append(sub_data[0])
conditions.append(''.join(sub_data[1:3]))
temp.append(''.join(sub_data[3:6]))
fengxiang.append(''.join(sub_data[6:9]))
# join函数连接字符串
# 数据保存
_data = pandas.DataFrame()
_data['日期'] = dates
_data['天气情况'] = conditions
_data['气温'] = temp
_data['风向'] = fengxiang
return _data
# print(_data)
# _data.to_csv('anqing.csv',index=False,encoding='gbk')
# 获取数据并保存csv格式，进行下面的数据分析
# 定义成函数形式进行封装
data_month_1 = get_data('http://www.tianqihoubao.com/lishi/shenzhen/month/202209.html')
data_month_2 = get_data('http://www.tianqihoubao.com/lishi/shenzhen/month/202210.html')
data_month_3 = get_data('http://www.tianqihoubao.com/lishi/shenzhen/month/202211.html')
# 使用drop参数来避免将旧索引添加为列：
data = pandas.concat([data_month_1, data_month_2, data_month_3]).reset_index(drop=True)
# 导出csv表格
data.to_csv('shenzhen.csv', index=False, encoding='utf-8')
# 读表
data1 = pd.read_csv('shenzhen.csv')
# 画图
# 设置字体
plt.rcParams['font.sans-serif'] = ['SimHei']
# 解决负号的乱码问题
plt.rcParams['axes.unicode_minus'] = False
# 读表
datalsit = pandas.read_csv('shenzhen.csv',encoding='utf-8')
# 数据处理
# 利用split分裂字符串‘/’取出最高最低气温
datalsit['最低气温'] = datalsit['气温'].str.split('/',expand=True)[0]
datalsit['最高气温'] = datalsit['气温'].str.split('/',expand=True)[1]
# 取出温度中的℃符号
datalsit['最低气温'] = datalsit['最低气温'].map(lambda x:int(x.replace('℃','')))
datalsit['最高气温'] = datalsit['最高气温'].map(lambda x:int(x.replace('℃','')))
dates = datalsit['日期']
highs = datalsit['最高气温']
lows = datalsit['最低气温']
# 画图
# 设置可视化图形规格
fig = plt.figure(dpi=128,figsize=(10,6))
# 线形图的线条颜色粗细调整
plt.plot(dates,highs,c='red',alpha=0.5)
plt.plot(dates,lows,c='blue',alpha=0.5)
# 线条下方覆盖为蓝色
plt.fill_between(dates,highs,lows,facecolor='blue',alpha=0.2)
# 图表格式
# 设置图标的图形格式
plt.title('2022深圳市9-12月天气情况',fontsize=24)
plt.xlabel('日期',fontsize=12)
# x轴标签倾斜 默认30度 可通过rotation=30改变
fig.autofmt_xdate()
plt.ylabel('气温',fontsize=12)
# 刻度线样式设置
plt.tick_params(axis='both',which='major',labelsize=10)
# 修改刻度 数据每10组显示1个
plt.xticks(dates[::10])
# 绘制风向扇形图
# 提取出风向的各类型占比 数据清洗
fengxiang=data1['风向'].value_counts()
fengxiang = fengxiang[fengxiang.values > 3]
plt.figure(figsize=(15,5))
# 保住饼图是圆 不是默认椭圆
plt.axes(aspect = 'equal')
plt.pie(x =fengxiang.values,
labels = fengxiang.index,
autopct = "%.2f%%",
radius = 1
)
plt.title('风向占比')
# 显示
plt.show()