采用python爬虫爬取数据然后采用echarts数据可视化分析

 前言：采用python爬虫爬取天气数据然后采用echarts数据可视化画图分析未来天气变化趋势 

从获取数据到可视化的流程

（熟悉爬虫爬取数据然后数据可视化这个过程）

一、python爬取未来8-15天的天气数据

1、导入用到的一些python第三方库

import requests
import re
from bs4 import BeautifulSoup
import json
import pandas as pd

2、爬取网页源码，经过utf-8的转换得到网页的源码

url='http://www.weather.com.cn/weather15d/101290101.shtml'
rqg=requests.get(url)
html=rqg.content.decode('utf-8')
soup=BeautifulSoup(html,'lxml')
print(soup.prettify())

3、采用BeautifulSoup库提取时间信息

tt=soup.find_all("span",class_="time")
tt

4、利用列表推导式进行时间的过滤提取

time=[i.string for i in tt]
time

 

5、采用BeautifulSoup库提取天气信息

hh=soup.find_all("span",class_="tem")
hh

 

 6、利用列表推导式进行天气的过滤提取

tem=[i.get_text() for i in hh]
tem

 

7、采用re库进行“/”分隔符来划分温度

tem1=[re.split('/',i) for i in tem]
tem1

 

8、利用列表推导式提取最高温与最低温

h=[i[0] for i in tem1]
h

l=[i[1] for i in tem1]
l

 

9、利用列表推导式把摄氏度的符号去除

[int(re.sub('℃','',i)) for i in h]

[int(re.sub('℃','',i)) for i in l]

 

 二、采用echarts数据可视化分析

实现的功能比较简单，处理流程还是比较完善的已经尽量实现数据分析的自动化