Python爬取广州、深圳、河源、惠州四个城市天气数据,并作数据可视化

本文爬取的网站是天气,天气预报查询,24小时,今天,明天,未来一周7天,10天,15天,40天查询_2345天气王

 

1.爬取广惠河深2022-2024年的数据 

import requests     # 发送请求要用的模块 需要额外安装的
import parsel
import csv

f = open('广-惠-河-深天气.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.writer(f)
csv_writer.writerow(['日期', '最高温度', '最低温度', '天气', '风向', '城市'])
city_list = [72049, 59287,59293,59493]
for city in city_list:
    city_name = ''
    if city == 72049:
        city_name = '惠州'
    elif city == 59287:
        city_name = '广州'
    elif city == 59293:
        city_name = '河源'
    elif city == 59493:
        city_name = '深圳'
    for year in range(2022, 2024):
        for month in range(1, 13):
            url = f'https://tianqi.2345.com/Pc/GetHistory?areaInfo%5BareaId%5D={city}&areaInfo%5BareaType%5D=2&date%5Byear%5D={year}&date%5Bmonth%5D={month}'
            # 1. 发送请求
            response = requests.get(url=url)
            # 2. 获取数据
            html_data = response.json()['data']
            # 3. 解析数据
            select = parsel.Selector(html_data)
            trs = select.css('.history-table tr')   # 拿到31个tr
            for tr in trs[1:]:                      # 第一个表头不要
                tds = tr.css('td::text').getall()   # 针对每个tr进行提取 取出所有的td里面的内容
                tds.append(city_name)               # 把城市追加到列表里面
                print(tds)
                # 4. 保存数据
                csv_writer.writerow(tds)

爬取的数据如下图所示 

 

 

 2.读取csv文件

import pandas as pd
data = pd.read_csv('广-惠-河-深天气.csv')
data

 

3.去除多余字符

#去除多余字符
data[['最高温度','最低温度']] = data[['最高温度','最低温度']].apply(lambda x: x.str.replace('°','').replace('', '0'))
data.head()

 

 

4.分割星期和日期

#分割日期与星期
data[['日期','星期']] = data['日期'].str.split(' ',expand=True,n=1)
data

 

 

5.筛选出城市数据子集。其中包含了四个城市在不同天气下的天数统计结果。

# 按城市和天气分组，并计算每组的天数
grouped = data.groupby(['城市', '天气']).size().reset_index(name='天数')

# 将结果按城市分为4个DataFrame
gz_weather = grouped[grouped['城市'] == '广州']
hy_weather = grouped[grouped['城市'] == '河源']
hz_weather = grouped[grouped['城市'] == '惠州']
sz_weather = grouped[grouped['城市'] == '深圳']
gz_weather

hy_weather

hz_weather

sz_weather

 

 6.将原有的天气类型按照关键字划分

# 定义一个函数，将原有的天气类型按照关键字划分
def classify_weather(weather):
    if '多云' in weather:
        return '多云'
    elif '晴' in weather:
        return '晴'
    elif '阴' in weather:
        return '阴'
    elif '大雨' in weather:
        return '雨'
    elif '中雨' in weather:
        return '雨'
    elif '小雨' in weather:
        return '雨'
    elif '雷阵雨' in weather:
        return '雨'
    elif '雾' in weather:
        return '雾'
    else:
        return '其他'

# 将原有的天气类型按照关键字划分，并存进新的 DataFrame 中
new_data = data[['城市', '天气']].copy()
new_data['新天气'] = new_data['天气'].apply(classify_weather)
new_data

 

 

7.对城市的天气数据按照新天气列分组后，计算每一种天气的天数，然后将“天气”列名改为“天数”得到的数据框。

# 按照城市和新天气列进行分组，并计算每一种天气的天数
count_data = new_data.groupby(['城市', '新天气'])['天气'].count().reset_index()
# 根据条件筛选出符合要求的行
df1 = count_data.loc[count_data['城市'] == '广州']
df2 = count_data.loc[count_data['城市'] == '河源']
df3 = count_data.loc[count_data['城市'] == '惠州']
df4 = count_data.loc[count_data['城市'] == '深圳']
# 将“天气”列名改为“天数”
df5 = df1.rename(columns={'天气': '天数'})
df6 = df2.rename(columns={'天气': '天数'})
df7 = df3.rename(columns={'天气': '天数'})
df8 = df4.rename(columns={'天气': '天数'})
# 输出结果
df5.to_csv('df5.csv',index=False)

上面输出结果保存到csv文件中,如果要查看可以输出df5 查看数据

 

 

8.筛选出每个城市平均温度等于最高温度和最低温度平均值的数据

# 筛选出平均温度等于最高温度和最低温度平均值的数据
data1 = data[(data['平均温度'] == (data['最高温度'] + data['最低温度']) / 2)]

data_AB = data1[(data1['城市'] == '广州') | (data1['城市'] == '深圳') | (data1['城市'] == '河源') | (data1['城市'] == '惠州')]

#将日期转换为月份并赋值给新的列
data_AB['月份'] = pd.to_datetime(data_AB['日期']).dt.month

#按照城市和月份分组，计算每组的平均气温
grouped_AB = data_AB.groupby(['城市', '月份'])['平均温度'].mean().reset_index()

#按照城市和月份排序
grouped_AB = grouped_AB.sort_values(['城市', '月份'])

#打印结果
grouped_AB

 

 

9.绘制广州、河源、惠州和深圳每日平均温度的折线图

import matplotlib as mpl
import matplotlib.pyplot as plt
import matplotlib.ticker as ticker
# 筛选出广州和湛江的数据
gz_data = data[data['城市'] == '广州']
hy_data = data[data['城市'] == '河源']
hz_data = data[data['城市'] == '惠州']
sz_data = data[data['城市'] == '深圳']

# 提取日期和平均温度数据
x = gz_data['日期']
y1 = gz_data['平均温度']
y2 = hy_data['平均温度']
y3 = hz_data['平均温度']
y4 = sz_data['平均温度']

# 绘制折线图
plt.figure(dpi=500, figsize=(10, 5))
plt.title("广河惠深每日平均温度折线图")
plt.plot(x, y1, color='red', label='广州')
plt.plot(x, y2, color='blue', label='河源')
plt.plot(x,y3,color='green',label='惠州')
plt.plot(x,y4,color='yellow',label='深圳')
# 获取图的坐标信息
coordinates = plt.gca()
# 设置x轴每个刻度的间隔天数
xLocator = mpl.ticker.MultipleLocator(30)
coordinates.xaxis.set_major_locator(xLocator)
# 将日期旋转30°
plt.xticks(rotation=30)
plt.xticks(fontsize=8)
plt.ylabel("温度(℃)")
plt.xlabel("日期")
plt.legend()
plt.savefig("广河惠深每日平均温度折线图.png")
plt.show()

 

 

10.绘制城市为广州、惠州、深圳、河源的月平均气温数据

data_GZ_HZ_SZ_HY = grouped_AB[(grouped_AB['城市'] == '广州') | (grouped_AB['城市'] == '惠州') | (grouped_AB['城市'] == '深圳') | (grouped_AB['城市'] == '河源')]

#绘制折线图
fig, ax = plt.subplots()
for city in ['广州', '惠州', '深圳', '河源']:
    ax.plot(data_GZ_HZ_SZ_HY[data_GZ_HZ_SZ_HY['城市'] == city]['月份'], data_GZ_HZ_SZ_HY[data_GZ_HZ_SZ_HY['城市'] == city]['平均温度'], label=city)

#设置图例和标题
ax.legend()
ax.set_title('广州、惠州、深圳、河源每月气温折线图')

#显示图形
plt.show()

 

 

11.绘制四个城市数据对比

import matplotlib.pyplot as plt

#创建一个画布
fig, ax = plt.subplots(figsize=(10, 5))

#绘制广州各类天气条形图
ax.bar(df5['新天气'], df5['天数'], width=0.2, label='广州')

#绘制惠州各类天气条形图
ax.bar(df7['新天气'], df7['天数'], width=0.2, label='惠州', alpha=0.7)

#绘制河源各类天气条形图
ax.bar(df6['新天气'], df6['天数'], width=0.2, label='河源', alpha=0.7)

#绘制深圳各类天气条形图
ax.bar(df8['新天气'], df8['天数'], width=0.2, label='深圳', alpha=0.7)

#设置图例
ax.legend()

#设置 x 轴标签和标题
ax.set_xlabel('天气类型')
ax.set_ylabel('天数')
ax.set_title('广州、惠州、河源、深圳各类天气天数对比')

#显示图表
plt.show()

 

 

12.各个城市天气占比

import pandas as pd
from pyecharts.charts import Pie
from pyecharts import options as opts

# 读取csv文件并转换为列表格式
df = pd.read_csv('df5.csv')
data_list = df[['新天气', '天数']].values.tolist()

# 生成饼图
pie = Pie()
pie.add("", data_list)
pie.set_global_opts(title_opts=opts.TitleOpts(title="广州各类天气天数占比"))
pie.set_series_opts(label_opts=opts.LabelOpts(formatter="{b}"))
pie.render_notebook()

 

 

import pandas as pd
from pyecharts.charts import Pie
from pyecharts import options as opts

# 读取csv文件并转换为列表格式
df = pd.read_csv('df6.csv')
data_list = df[['新天气', '天数']].values.tolist()

# 生成饼图
pie = Pie()
pie.add("", data_list)
pie.set_global_opts(title_opts=opts.TitleOpts(title="河源各类天气天数占比"))
pie.set_series_opts(label_opts=opts.LabelOpts(formatter="{b}"))
pie.render_notebook()

 

 

import pandas as pd
from pyecharts.charts import Pie
from pyecharts import options as opts

# 读取csv文件并转换为列表格式
df = pd.read_csv('df7.csv')
data_list = df[['新天气', '天数']].values.tolist()

# 生成饼图
pie = Pie()
pie.add("", data_list)
pie.set_global_opts(title_opts=opts.TitleOpts(title="惠州各类天气天数占比"))
pie.set_series_opts(label_opts=opts.LabelOpts(formatter="{b}"))
pie.render_notebook()

 

 

import pandas as pd
from pyecharts.charts import Pie
from pyecharts import options as opts

# 读取csv文件并转换为列表格式
df = pd.read_csv('df8.csv')
data_list = df[['新天气', '天数']].values.tolist()

# 生成饼图
pie = Pie()
pie.add("", data_list)
pie.set_global_opts(title_opts=opts.TitleOpts(title="深圳各类天气天数占比"))
pie.set_series_opts(label_opts=opts.LabelOpts(formatter="{b}"))
pie.render_notebook()

13.统计四个城市每日气温折线图

import matplotlib.pyplot as plt
import matplotlib as mpl
import pandas as pd
# 筛选出广州和湛江的数据
gz_data = data[data['城市'] == '广州']
hy_data = data[data['城市'] == '河源']
hz_data = data[data['城市'] == '惠州']
sz_data = data[data['城市'] == '深圳']

# 提取日期和平均温度数据
x = gz_data['日期']
y1 = gz_data['平均温度']
y2 = hy_data['平均温度']
y3 = hz_data['平均温度']
y4 = sz_data['平均温度']

# 绘制面积图
plt.figure(dpi=500, figsize=(10, 5))
plt.title("广州惠州河源深圳折线图")
plt.fill_between(x, y1, color='red', alpha=0.5, label='广州')
plt.fill_between(x, y2, color='blue', alpha=0.5, label='河源')
plt.fill_between(x, y3, color='blue', alpha=0.5, label='惠州')
plt.fill_between(x, y4, color='blue', alpha=0.5, label='深圳')
# 获取图的坐标信息
coordinates = plt.gca()
# 设置x轴每个刻度的间隔天数
xLocator = mpl.ticker.MultipleLocator(30)
coordinates.xaxis.set_major_locator(xLocator)
# 将日期旋转30°
plt.xticks(rotation=30)
plt.xticks(fontsize=8)
plt.ylabel("温度(℃)")
plt.xlabel("日期")
plt.legend()
plt.savefig("广-惠-河-深折线图")
plt.show()

14.读取四个城市各类天气天数对比图

import matplotlib.pyplot as plt
from pyecharts.charts import Bar
# 读取广州数据并生成柱状图
df1 = pd.read_csv('df5.csv')
data_list1 = df1[['新天气', '天数']].values.tolist()

# 读取河源数据并生成柱状图
df2 = pd.read_csv('df6.csv')
data_list2 = df2[['新天气', '天数']].values.tolist()

# 读取惠州数据并生成柱状图
df3 = pd.read_csv('df7.csv')
data_list3 = df3[['新天气', '天数']].values.tolist()

# 读取深圳数据并生成柱状图
df4 = pd.read_csv('df8.csv')
data_list4 = df4[['新天气', '天数']].values.tolist()
# 合并 x 轴数据
x_data = list(set([i[0] for i in data_list1] + [i[0] for i in data_list2] + [i[0] for i in data_list3] + [i[0] for i in data_list4]))

# 生成柱状图
bar = Bar()
bar.add_xaxis(x_data)
bar.add_yaxis("广州", [df1.loc[df1['新天气']==x, '天数'].tolist()[0] if x in df1['新天气'].tolist() else 0 for x in x_data])
bar.add_yaxis("河源", [df2.loc[df2['新天气']==x, '天数'].tolist()[0] if x in df2['新天气'].tolist() else 0 for x in x_data])
bar.add_yaxis("惠州", [df3.loc[df3['新天气']==x, '天数'].tolist()[0] if x in df3['新天气'].tolist() else 0 for x in x_data])
bar.add_yaxis("深圳", [df4.loc[df4['新天气']==x, '天数'].tolist()[0] if x in df4['新天气'].tolist() else 0 for x in x_data])
bar.set_global_opts(title_opts=opts.TitleOpts(title="广州惠州河源深圳各类天气天数对比图"),
                     xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(rotate=-45)),
                     legend_opts=opts.LegendOpts(pos_left="center"))
bar.render_notebook()

 15.读取四个城市当中一个城市的天气天数对比图

import matplotlib.pyplot as plt
from pyecharts.charts import Bar
# 读取惠州数据并生成柱状图
df3 = pd.read_csv('df7.csv')
data_list3 = df3[['新天气', '天数']].values.tolist()
# 生成柱状图
bar = Bar()
bar.add_xaxis(x_data)
bar.add_yaxis("惠州", [df3.loc[df3['新天气']==x, '天数'].tolist()[0] if x in df3['新天气'].tolist() else 0 for x in x_data])
bar.set_global_opts(title_opts=opts.TitleOpts(title="广州惠州河源深圳各类天气天数对比图"),
                     xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(rotate=-45)),
                     legend_opts=opts.LegendOpts(pos_left="center"))
bar.render_notebook()