利用pandas.read_html()直接读取网页中的表格数据

利用pandas.read_html()直接读取网页中的表格数据

read_html() 函数是最简单的爬虫,可以爬取静态网页表格数据。

但只适合于爬取 table 表格型数据

  • 首先分析pandas.read_html() 函数的参数
import pandas as pd
df=pd.read_html()
# 常用的参数
io:url、html文本、本地文件等
header:标题行
flavor:解析器
skiprows:跳过的行
attrs:属性,例如:attrs = {'id':'table'}
parse_dates:解析日期
# 注意:返回的结果是DataFrame组成的list 
## 需要最后加上一个索引[0]
  • 当网页中含有多个表格时
    选取百度百科中的世界500强企业表格为例

利用pandas.read_html()直接读取网页中的表格数据_第1张图片

import pandas as pd
df=pd.read_html(io='https://baike.baidu.com/item/%E4%B8%96%E7%95%8C500%E5%BC%BA/640042',header=0)[1]
#因为该网页有多个表格,pd.read_html()生成的该网页内所有表格的list属性
#需要用索引来确定需要提取的表格
df

成果图展现:
利用pandas.read_html()直接读取网页中的表格数据_第2张图片

  • 网页内需要翻页的表格
  • 比如:http://eid.csrc.gov.cn/ipo/1017/index.html

利用pandas.read_html()直接读取网页中的表格数据_第3张图片

#  导入所需要用到的库
df = pd.DataFrame()
for i in range(1,5):  
    url3 =f"http://eid.csrc.gov.cn/ipo/1017/index_{i}.html"
    print(url3)
     #可加utf-8,如果乱码
     #数据合并
    df = pd.concat([df, pd.read_html(url3,header=0)[0]]) # 爬取+合并DataFrame

利用pandas.read_html()直接读取网页中的表格数据_第4张图片

你可能感兴趣的:(pandas,python,数据挖掘,数据分析)