Python爬虫爬取疫情数据并可视化展示

 这篇文章主要介绍了Python利用爬虫爬取疫情数据并进行可视化的展示,文中的示例代码讲解清晰,对工作或学习有一定的价值,需要的朋友可以参考一下。编程资料点击领取

目录

知识点

开发环境

爬虫完整代码

导入模块

分析网站

发送请求

获取数据

解析数据

保存数据

数据可视化

导入模块

读取数据

死亡率与治愈率

各地区确诊人数与死亡人数情况


知识点

  1. 爬虫基本流程
  2. json
  3. requests 爬虫当中 发送网络请求
  4. pandas 表格处理 / 保存数据
  5. pyecharts 可视化

开发环境

python 3.8 比较稳定版本 解释器发行版 anaconda jupyter notebook 里面写数据分析代码 专业性

pycharm 专业代码编辑器 按照年份与月份划分版本的

爬虫完整代码

导入模块

1

2

3

4

import requests      # 发送网络请求模块

import json

import pprint        # 格式化输出模块

import pandas as pd  # 数据分析当中一个非常重要的模块

分析网站

先找到今天要爬取的目标数据

实时更新:新冠肺炎疫情最新动态

Python爬虫爬取疫情数据并可视化展示_第1张图片

找到数据所在url

Python爬虫爬取疫情数据并可视化展示_第2张图片

Python爬虫爬取疫情数据并可视化展示_第3张图片

发送请求

1

2

url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5&_=1638361138568'

response = requests.get(url, verify=False)

获取数据

1

json_data = response.json()['data']

解析数据

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

json_data = json.loads(json_data)

china_data = json_data['areaTree'][0]['children'] # 列表

data_set = []

for i in china_data:

    data_dict = {}

    # 地区名称

    data_dict['province'] = i['name']

    # 新增确认

    data_dict['nowConfirm'] = i['total']['nowConfirm']

    # 死亡人数

    data_dict['dead'] = i['total']['dead']

    # 治愈人数

    data_dict['heal'] = i['total']['heal']

    # 死亡率

    data_dict['deadRate'] = i['total']['deadRate']

    # 治愈率

    data_dict['healRate'] = i['total']['healRate']

    data_set.append(data_dict)

保存数据

1

2

df = pd.DataFrame(data_set)

df.to_csv('data.csv')

Python爬虫爬取疫情数据并可视化展示_第4张图片

数据可视化

导入模块

1

2

from pyecharts import options as opts

from pyecharts.charts import Bar,Line,Pie,Map,Grid

读取数据

1

2

df2 = df.sort_values(by=['nowConfirm'],ascending=False)[:9]

df2

Python爬虫爬取疫情数据并可视化展示_第5张图片

死亡率与治愈率

1

2

3

4

5

6

7

8

9

10

11

line = (

    Line()

    .add_xaxis(list(df['province'].values))

    .add_yaxis("治愈率", df['healRate'].values.tolist())

    .add_yaxis("死亡率", df['deadRate'].values.tolist())

    .set_global_opts(

        title_opts=opts.TitleOpts(title="死亡率与治愈率"),

    )

)

line.render_notebook()

Python爬虫爬取疫情数据并可视化展示_第6张图片

各地区确诊人数与死亡人数情况

1

2

3

4

5

6

7

8

9

10

11

bar = (

    Bar()

    .add_xaxis(list(df['province'].values)[:6])

    .add_yaxis("死亡", df['dead'].values.tolist()[:6])

    .add_yaxis("治愈", df['heal'].values.tolist()[:6])

    .set_global_opts(

        title_opts=opts.TitleOpts(title="各地区确诊人数与死亡人数情况"),

        datazoom_opts=[opts.DataZoomOpts()],

        )

)

bar.render_notebook()

Python爬虫爬取疫情数据并可视化展示_第7张图片

以上就是Python爬虫爬取疫情数据并可视化展示的详细内容。

感谢关注,为你们准备了编程学习的一套资料,还有相应的代码,视频教程都可以获取,添加Q裙703046414即可获取。

你可能感兴趣的:(Python实战案列,python,开发语言,后端,可视化)