Python实验1——网络爬虫及数据可视化
Python实验1——网络爬虫及数据可视化
- 一、实验目标与基本要求
-
- 实验目标
- 基本要求
- 二、主要知识点、重点与难点
-
- 主要知识点
- 重点
- 难点
- 三、实验过程设计
-
- 获取网页
- 获取数据
- 保存到数据库
- 数据预处理
- 绘制独立数据图像
- 绘制K线图
- 数据转化、存储为Excel
- 绘制股票信息分析图
- 数据可视化
- 主函数
- 运行结果
- 遇到的问题
- 实验的收获
一、实验目标与基本要求
实验目标
开发网络爬虫在东方财富、新浪财经或者纳斯达克等财经网站上爬取一只股票的每天的开盘价，收盘价，最高价，最低价等信息，并存储在数据库中，并开发GUI应用可视化。
基本要求
（1） 掌握网络爬虫的开发方法；
（2） 掌握Python开发数据库的GUI界面；
（3） 掌握Matplotlib绘制股票的K线图；
二、主要知识点、重点与难点
主要知识点
（1） 网络爬虫的基本知识；
（2） 利用正则表达式对网页信息提取；
（3） 数据库的访问和表中的数据操作；
（4） Matplotlib库的使用。
重点
（1） 网络爬虫框架的使用；
（2） 正则表达式的使用；
（3） 数据库存储数据。
难点
（1） 利用正则表达式根据网页中的信息组织方式提取数据；
（2） K线图的展现。
三、实验过程设计
获取网页a
获取原始数据
保存到数据库
数据预处理
绘制独立数据图像
绘制K线图
数据转化,存储为Excel
绘制股票信息分析图
数据可视化
获取网页
def getHtml(stack_code):
data = requests.get("http://quotes.money.163.com/trade/lsjysj_" +
stack_code + ".html#06f01",
headers={
"user-agent": "Mozilla/5.0"})
# 获得一个请求得到的静态网页
return data.text
爬取的网站是网易财经的股票历史交易记录。经过观察发现，不同股票历史交易记录的区别在于中间的一段股票代码，于是通过输入股票代码来获取指定股票的交易网页。
为了便于下面的数据处理，直接返回网页的text，省去了一步处理过程。（json.dumps应该也可以获取内容，作用是把str数据直接转换成字典，但是对数据有格式要求）
获取数据
json的函数dumps可以直接把网页转化成字典，但是可以自己实现的还是自己写。
def getData(data):
month_data = []
soup = BeautifulSoup(data, "html.parser")
# 爬取网页的工具
list = soup.find("div", class_="inner_box").find("table", class_="table_bg001 border_box limit_sale")
# 看html，已经把不需要的都删了，数据在innerbox的table_bg001 border_box limit_sale下面
# print(list)
dataList = list.find_all("tr")[1:]
# 因为第一个tr后面是一堆th标签，不需要
# print(dataList)
f = open("data.txt", "a+", encoding="utf-8")
for item in dataList:
kv = {
}
if isinstance(item, bs4.element.Tag):
tdList = item.find_all("td")
# print(tdList)
kv["日期"] = tdList[0].text # 去掉td和/td，取中间的内容
kv["开盘价"] = tdList[1].text
kv["最高价"] = tdList[2].text
kv["最低价"] = tdList[3].text
kv["收盘价"] = tdList[4].text
kv["成交量"] = tdList[7].text
month_data.append(kv)
to_write = json.dumps(kv)
f.write(to_write)
f.close()
return month_data
首先通过BeautifulSoup得到网页格式处理的soup，通过浏览器访问防止反爬虫。
<div class="inner_box">
<div class="search_area align_r">
<form id="date" action="/trade/lsjysj_300153.html">
<select name="year">
<option value="2021" selected>2021option><option value="2020" >2020option><option value="2019" >2019option><option value="2018" >2018option><option value="2017" >2017option><option value="2016" >2016option><option value="2015" >2015option><option value="2014" >2014option><option value="2013" >2013option><option value="2012" >2012option><option value="2011" >2011option><option value="2010" >2010option> select>
<select name="season">
<option value="4" >四季度option><option value="3" >三季度option><option value="2" selected>二季度option><option value="1" >一季度option> select>
<input type="submit" value="查询" class="search_btn"/>
<a href="" class="download_link" id="downloadData">下载数据a>
form>
div>
<table class="table_bg001 border_box limit_sale">
<thead>
<tr class="dbrow">
<th>日期th>
<th>开盘价th>
<th>最高价th>
<th>最低价th>
<th>收盘价th>
<th>涨跌额th>
<th>涨跌幅(%)th>
<th>成交量(手)th>
<th>成交金额(万元)th>
<th>振幅(%)th>
<th>换手率(%)th>
tr>
thead>
<tr class=''>
<td>2021-05-14td>
<td class='cRed'>6.94td>
<td class='cRed'>8.10td>
<td class='cRed'>6.78td>
<td class='cRed'>8.10td>
<td class='cRed'>1.35td>
<td class='cRed'>20.00td>
<td>489,575td>
<td>36,666td>
<td>19.56td>
<td>15.30td>
tr>
<tr class='dbrow'>
<td>2021-05-13td><td class='cGreen'>7.03td><td class='cRed'>7.18td><td class='cGreen'>6.74td><td class='cGreen'>6.75td><td class='cGreen'>-0.28td><td class='cGreen'>-3.98td><td>291,380td><td>20,160td><td>6.26td><td>9.11td>tr><tr class=''><td>2021-05-12td><td class='cGreen'>6.40td><td class='cRed'>7.36td><td class='cGreen'>6.26td><td class='cRed'>7.03td><td class='cRed'>0.54td><td class='cRed'>8.32td><td>429,979td><td>30,069td><td>16.95td><td>13.44td>tr><tr class='dbrow'><td>2021-05-11td><td class='cGreen'>6.53td><td class='cGreen'>6.58td><td class='cGreen'>6.25td><td class='cGreen'>6.49td><td class='cGreen'>-0.15td><td class='cGreen'>-2.26td><td>207,696td><td>13,307td><td>4.97td><td>6.49td>tr><tr class=''><td>2021-05-10td><td class='cGreen'>6.58td><td class='cRed'>7.06td><td class='cGreen'>6.48td><td class='cGreen'>6.64td><td class='cGreen'>-0.12td><td class='cGreen'>-1.78td><td>275,209td><td>18,406td><td>8.58td><td>8.60td>tr><tr class='dbrow'><td>2021-05-07td><td class='cRed'>7.10td><td class='cRed'>7.15td><td class='cGreen'>6.56td><td class='cGreen'>6.76td><td class='cGreen'>-0.25td><td class='cGreen'>-3.57td><td>319,005td><td>21,693td><td>8.42td><td>9.97td>tr><tr class=''><td>2021-05-06td><td class='cRed'>6.73td><td class='cRed'>7.35td><td class='cGreen'>6.60td><td class='cRed'>7.01td><td class='cRed'>0.41td><td class='cRed'>6.21td><td>426,529td><td>29,506td><td>11.36td><td>13.33td>tr><tr class='dbrow'><td>2021-04-30td><td class='cRed'>6.97td><td class='cRed'>7.30td><td class='cGreen'>6.27td><td class='cGreen'>6.60td><td class='cGreen'>-0.06td><td class='cGreen'>-0.90td><td>529,436td><td>35,333td><td>15.47td><td>16.54td>tr><tr class=''><td>2021-04-29td><td class='cGreen'>5.50td><td class='cRed'>6.66td><td class='cGreen'>5.41td><td class='cRed'>6.66td><td class='cRed'>1.11td><td class='cRed'>20.00td><td>382,602td><td>23,741td><td>22.52td><td>11.96td>tr><tr class='dbrow'><td>2021-04-28td><td class='cGreen'>5.64td><td class='cRed'>5.86td><td class='cGreen'>5.53td><td class='cGreen'>5.55td><td class='cGreen'>-0.27td><td class='cGreen'>-4.64td><td>196,804td><td>11,068td><td>5.67td><td>6.15td>tr><tr class=''><td>2021-04-27td><td class='cGreen'>6.06td><td class='cGreen'>6.14td><td class='cGreen'>5.65td><td class='cGreen'>5.82td><td class='cGreen'>-0.44td><td class='cGreen'>-7.03td><td>286,392td><td>16,754td><td>7.83td><td>8.95td>tr><tr class='dbrow'><td>2021-04-26td><td class='cGreen'>6.28td><td class='cGreen'>6.48td><td class='cGreen'>5.89td><td class='cGreen'>6.26td><td class='cGreen'>-0.39td><td class='cGreen'>-5.86td><td>397,512td><td>24,395td><td>8.87td><td>12.42td>tr><tr class=''><td>2021-04-23td><td class='cRed'>6.38td><td class='cRed'>7.20td><td class='cRed'>6.18td><td class='cRed'>6.65td><td class='cRed'>0.60td><td class='cRed'>9.92td><td>593,691td><td>40,159td><td>16.86td><td>18.55td>tr><tr class='dbrow'><td>2021-04-22td><td class='cGreen'>5.03td><td class='cRed'>6.05td><td class='cGreen'>5.03td><td class='cRed'>6.05td><td class='cRed'>1.01td><td class='cRed'>20.04td><td>349,405td><td>19,949td><td>20.24td><td>10.92td>tr><tr class=''><td>2021-04-21td><td class='cRed'>5.15td><td class='cRed'>5.15td><td class='cGreen'>5.03td><td class='cGreen'>5.04td><td class='cGreen'>-0.08td><td class='cGreen'>-1.56td><td>28,485td><td>1,444td><td>2.34td><td>0.89td>tr><tr class='dbrow'><td>2021-04-20td><td class='cGreen'>5.17td><td class='cRed'>5.24td><td class='cGreen'>5.12td><td class='cGreen'>5.12td><td class='cGreen'>-0.07td><td class='cGreen'>-1.35td><td>38,135td><td>1,976td><td>2.31td><td>1.19td>tr><tr class=''><td>2021-04-19td><td class='cGreen'>5.15td><td class='cRed'>5.25td><td class='cGreen'>5.12td><td class='cRed'>5.19td><td class='cRed'>0.03td><td class='cRed'>0.58td><td>41,940td><td>2,178td><td>2.52td><td>1.31td>tr><tr class='dbrow'><td>2021-04-16td><td class='cGreen'>4.97td><td class='cRed'>5.19td>