疫情传播大数据分析

疫情传播大数据分析

下面以疫情数据分析为应用场景，从数据抓取、数据分析、数据处理到数据可视化的全过程，配合实际操作过程，达到从实际出发，结合理论，动手实操的目的。

环境准备

pip install pyecharts==1.7.1 https://pypi.tuna.tsinghua.edu.cn/simple

conda install requests

conda install html5lib

Github：https://github.com/pyecharts/pyecharts  # pyecharts

步骤1：疫情数据抓取

导入相关模块

import time
import json
import requests
from datetime import datetime
import pandas as pd
import numpy as np

#在顶部声明 Notebook 类型，必须在引入 pyecharts.charts 等模块前声明
# from pyecharts.globals import CurrentConfig, NotebookType
# CurrentConfig.NOTEBOOK_TYPE = NotebookType.JUPYTER_NOTEBOOK

from pyecharts.charts import Map
import pyecharts.options as opts

抓取疫情数据

# 定义抓取数据函数
def catch_data():
    url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5'
    reponse = requests.get(url=url).json()
    # 返回数据字典
    data = json.loads(reponse['data'])
    return data
def catch_other_data():
    url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_foreign'
    reponse = requests.get(url=url).json()
    # 返回数据字典
    data = json.loads(reponse['data'])
    return data

# 抓取数据并将数据存入data中
data = catch_data()
other_data = catch_other_data()

# 查看数据的关键词（以列表返回一个字典所有的键）
print(data.keys())
print(other_data.keys())

步骤2：疫情数据初步分析

提取各地区数据明细

# 提取各地区数据明细
areaTree = data['areaTree']
# 查看并分析具体数据
# areaTree

提取国外地区数据明细

# 提取国外地区数据明细
foreignList = other_data['foreignList']
# 查看并分析具体数据
# foreignList

步骤3：疫情数据处理

国内各省疫情数据提取

# 国内数据提取
china_data = areaTree[0]['children']  # 提取国内各省数据
china_list = []  # 创建新列表用于储存数据

# 计算china_data中的数据数量（省的数量），逐步提取对应省的数据
for a in range(len(china_data)):
    # 提取数据
    province = china_data[a]['name']  # 提取对应省名称
    confirm = china_data[a]['total']['confirm'] # 提取对应省的累计确诊数据
    heal = china_data[a]['total']['heal'] # 提取对应省的累计治愈数据
    dead = china_data[a]['total']['dead'] # 提取对应省的累计死亡数据
    nowConfirm = confirm - heal - dead # 计算对应省的现有确诊数量
    # 存放数据
    china_dict = {} # 创建新字典用于储存数据
    china_dict['province'] = province # 创建province键存放各省名称
    china_dict['nowConfirm'] = nowConfirm # 创建nowconfirm键存放各省现有确诊数量
    china_list.append(china_dict) # 在china_list列表末尾添加china_dict字典

china_data = pd.DataFrame(china_list) # 将列表转换成panda表格型数据结构
china_data.head() # 读取前五行数据

国际疫情数据提取

# 国际数据提取
world_data = foreignList # 提取各国数据
world_list = [] # 创建新列表用于储存数据

# 计算world_data中的数据数量（国家的数量），逐步提取对应国家的数据
for a in range(len(world_data)):
    # 提取数据
    country = world_data[a]['name']  # 提取对应国家的名称
    nowConfirm = world_data[a]['nowConfirm'] # 提取对应国家的现有确诊数据
    confirm = world_data[a]['confirm'] # 提取对应国家的累计确诊数据
    dead = world_data[a]['dead'] # 提取对应国家的累计确诊数据
    heal = world_data[a]['heal'] # 提取对应国家的累计确诊数据
    # 存放数据
    world_dict = {}
    world_dict['country'] = country
    world_dict['nowConfirm'] = nowConfirm
    world_dict['confirm'] = confirm
    world_dict['dead'] = dead
    world_dict['heal'] = heal
    world_list.append(world_dict) 

world_data = pd.DataFrame(world_list)
world_data.head()

查询数据中是否含有中国疫情数据

world_data.loc[world_data['country']=="中国"] 

从新增areaTree中提取中国数据，并添加至world_data

confirm = areaTree[0]['total']['confirm'] # 提取中国累计确诊数据
heal = areaTree[0]['total']['heal'] # 提取中国累计治愈数据
dead = areaTree[0]['total']['dead'] # 提取中国累计死亡数据
nowConfirm = confirm - heal - dead # 计算中国现有确诊数量

world_data = world_data.append({'country': "中国", 'nowConfirm': nowConfirm, 'confirm': confirm, 'heal': heal, 'dead': dead}, 
                               ignore_index=True) 

再次查询数据中是否含有中国疫情数据

world_data.loc[world_data['country']=="中国"] 

步骤4：国内疫情态势可视化

导入pyecharts相关库

# 在顶部声明 Notebook 类型，必须在引入 pyecharts.charts 等模块前声明
# from pyecharts.globals import CurrentConfig, NotebookType
# CurrentConfig.NOTEBOOK_TYPE = NotebookType.JUPYTER_NOTEBOOK

from pyecharts.charts import Map
import pyecharts.options as opts

构建COVID-19中国各地区现有确诊人数地图

# 创建图表
m = Map()
# 导入图表数据
m.add("", [list(z) for z in zip(list(china_data["province"]), list(china_data["nowConfirm"]))], 
      maptype="china", is_map_symbol_show=False)
# 设置图表参数
m.set_global_opts(title_opts=opts.TitleOpts(title="COVID-19中国现有地区现有确诊人数地图"),
                     visualmap_opts=opts.VisualMapOpts(is_piecewise=True,
                     pieces = [
                        {"min": 5000 , "label": '>5000',"color": "#893448"}, #不指定 max，表示 max 为无限大
                        {"min": 1000, "max": 4999, "label": '1000-4999',"color" : "#ff585e" },
                        {"min": 500, "max": 999, "label": '500-1000',"color": "#fb8146"},
                        {"min": 101, "max": 499, "label": '101-499',"color": "#ffA500"},
                        {"min": 10, "max": 100, "label": '10-100',"color": "#ffb248"},
                        {"min": 1, "max": 9, "label": '1-9',"color" : "#fff2d1" },
                        {"max": 1, "label": '0',"color" : "#ffffff" }]))
# 加载JavaScript
# 在第一次渲染的时候调用 load_javascript() 会预先加载基本 JavaScript 文件到 Notebook 中。
# 如若后面其他图形渲染不出来，则请开发者尝试再次调用，因为 load_javascript 只会预先加载最基本的 js 引用。
# 而主题、地图等 js 文件需要再次按需加载。
# m.load_javascript()

# 显示图表
# load_javascript() 和 render_notebook() 方法需要在不同的 cell 中调用，
# 这是 Notebook 的内联机制，其实本质上我们是返回了带有 _html_, _javascript_ 对象的 class。notebook 会自动去调用这些方法。
m.render_notebook()

步骤5：国际疫情态势可视化

将各国的中文名称转换成英文名称

# 导入国家中英文对照表
world_name = pd.read_excel("国家中英文对照表.xlsx")

# 比对world_data的"country"列与world_name的"中文"列内容相同的位置，在相应位置插入对应国家的英文名
world_data_t = pd.merge(world_data, world_name, left_on="country",right_on="中文", how="inner")

world_data_t

构建COVID-19世界各国现有确诊人数地图

m2 = Map()
m2.add("", [list(z) for z in zip(list(world_data_t["英文"]), list(world_data_t["nowConfirm"]))], 
        maptype="world", is_map_symbol_show=False)
m2.set_global_opts(title_opts=opts.TitleOpts(title="COVID-19世界各国现有确诊人数地图"),
                     visualmap_opts=opts.VisualMapOpts(is_piecewise=True,
                pieces = [
                        {"min": 5000 , "label": '>5000',"color": "#893448"}, 
                        {"min": 1000, "max": 4999, "label": '1000-4999',"color" : "#ff585e" },
                        {"min": 500, "max": 999, "label": '500-1000',"color": "#fb8146"},
                        {"min": 101, "max": 499, "label": '101-499',"color": "#ffA500"},
                        {"min": 10, "max": 100, "label": '10-100',"color": "#ffb248"},
                        {"min": 0, "max": 9, "label": '0-9',"color" : "#fff2d1" }]))
m2.set_series_opts(label_opts=opts.LabelOpts(is_show=False))
# 加载JavaScript
# 在第一次渲染的时候调用 load_javascript() 会预先加载基本 JavaScript 文件到 Notebook 中。
# 如若后面其他图形渲染不出来，则请开发者尝试再次调用，因为 load_javascript 只会预先加载最基本的 js 引用。
# 而主题、地图等 js 文件需要再次按需加载。
m2.load_javascript()

# load_javascript() 和 render_notebook() 方法需要在不同的 cell 中调用，
# 这是 Notebook 的内联机制，其实本质上我们是返回了带有 _html_, _javascript_ 对象的 class。notebook 会自动去调用这些方法。
m2.render_notebook()

步骤6：国内疫情方寸间

单独取出中国疫情数据

# 单独取出中国疫情数据
China_data = world_data.loc[world_data['country']=="中国"]

# 使索引从0开始递增
China_data.reset_index(drop=True,inplace=True) 

China_data

提取China_data的累计确诊、累计治愈与累计死亡数据

# 提取China_data的累计确诊、累计治愈与累计死亡数据
# data.at[n,'name']代表根据行索引和列名，获取对应元素的值
w_confirm = China_data.at[0,'confirm']
w_heal = China_data.at[0,'heal']
w_dead = China_data.at[0,'dead']

导入matplotlib相关库

import matplotlib.pyplot as plt
import matplotlib.patches as patches

构建国内疫情方寸间图示

# -*- coding: utf-8 -*-
%matplotlib inline

# 定义一个图像窗口
fig1 = plt.figure()

# 设置图像为1行1列，形状为正方形，背景为米黄色
ax1 = fig1.add_subplot(111, aspect='equal', facecolor='#fafaf0')

# 设置坐标轴的范围
ax1.set_xlim(-w_confirm/2 , w_confirm/2 )
ax1.set_ylim(-w_confirm/2 , w_confirm/2 )

#隐藏上边界与右边界
ax1.spines['top'].set_color('none')
ax1.spines['right'].set_color('none')

#移动坐标轴至中心
ax1.spines['bottom'].set_position(('data', 0))
ax1.spines['left'].set_position(('data', 0))

#关闭坐标刻度
ax1.set_xticks([])
ax1.set_yticks([])

# 设置生成图形的参数
p0 = patches.Rectangle((-w_confirm/2, -w_confirm/2), width=w_confirm, height=w_confirm, facecolor='#29648c',label='confirm')
p1 = patches.Rectangle((-w_heal/2, -w_heal/2), width=w_heal, height=w_heal, facecolor='#69c864',label='heal')
p2 = patches.Rectangle((-w_dead/2, -w_dead/2), width=w_dead, height=w_dead, facecolor='#000000',label='dead')

# 将所设置的图形传入图像
plt.gca().add_patch(p0)
plt.gca().add_patch(p1)
plt.gca().add_patch(p2)

# 设置坐标图标题与字号
plt.title('COVID-19 Square - China', fontdict={'size':20})

#在最好的位置显示图示
plt.legend(loc='best')
plt.show()

步骤7：国际疫情方寸间

重新排序数据

# 根据"confirm"进行降序排序（调节ascending参数可选择升序或降序）
world_data.sort_values("confirm", ascending=False,inplace=True)
# 使索引按0,1,2,3,4开始递增
world_data.reset_index(drop=True,inplace=True) 
world_data

构建国际疫情方寸间图示

# -*- coding: utf-8 -*-
%matplotlib inline

# 设置中文显示
plt.rcParams['font.sans-serif'] = [u'SimHei']
# Mac系统下设置字体为Arial Unicode MS
# plt.rcParams['font.sans-serif'] = [u'Arial Unicode MS']
plt.rcParams['axes.unicode_minus'] = False

# 创建图像，大小为25*25
fig1 = plt.figure(figsize=(25, 25)) 

for a in range(20):
    # 提取world_data的累计确诊、累计治愈与累计死亡数据
    # data.at[n,'name']代表根据行索引和列名，获取对应元素的值
    w_confirm = world_data.at[a,'confirm']
    w_heal = world_data.at[a,'heal']
    w_dead = world_data.at[a,'dead']

    # 将整个图像窗口分为5行4列，生成第a个图示，形状为正方形，背景为米黄色
    ax1 = fig1.add_subplot(20/4, 4, a+1, aspect='equal', facecolor='#fafaf0')
    
    # 设置坐标轴的范围
    ax1.set_xlim(-w_confirm/2 , w_confirm/2 )
    ax1.set_ylim(-w_confirm/2 , w_confirm/2 )
    
    # 隐藏上边界与右边界
    ax1.spines['top'].set_color('none')
    ax1.spines['right'].set_color('none')
    
    # 移动坐标轴至中心
    ax1.spines['bottom'].set_position(('data', 0))
    ax1.spines['left'].set_position(('data', 0))
    
    # 关闭坐标刻度
    ax1.set_xticks([])
    ax1.set_yticks([])

    # 设置生成图形的参数
    p0 = patches.Rectangle((-w_confirm/2, -w_confirm/2), width=w_confirm, height=w_confirm, 
                           alpha=w_confirm/90000,  facecolor='#29648c',label='confirm')
    p1 = patches.Rectangle((-w_heal/2, -w_heal/2), width=w_heal, height=w_heal, alpha=1, facecolor='#69c864',label='heal')
    p2 = patches.Rectangle((-w_dead/2, -w_dead/2), width=w_dead, height=w_dead, alpha=1, facecolor='black',label='dead')
    
    # 将所设置的图形传入图像
    plt.gca().add_patch(p0)
    plt.gca().add_patch(p1)
    plt.gca().add_patch(p2)
    
    # 设置坐标图标题与字号
    plt.title(world_data.at[a,'country'], fontdict={'size':20})
    
    #在最好的位置显示图示
    plt.legend(loc='best')
    
#显示图示
plt.show()