【python】read_html()处理网页中的表格数据

pandas模块的read_html()函数,从网页中识别

读取表格类数据。避免了写xpath等表达式的麻烦,可把筛选得到的表格数据通过to_csv或to_Excel直接存为CSV文件或Excel文件。

注意:read_html()返回一个DataFrame类型的列表,每一项代表网页中的一个

,可用切片方式指定提取第几个表格。

参数io

指定识别的对象,可为网址、本地HTML、request得到的响应的文本内容。

参数match

传入正则表达式,返回符合match的内容,可理解为内容的筛选。

参数flavor

可省。指定网页源代码的解析器,常用的lxml解析器(也是默认解析器)。

参数header

可省。指定一行或多行作为表格的列标签,默认None。若把多行作为列标签,则需要以列表形式给出,如:把0~2行作为行列标签,则列序号从第4行即序号3的行开始排列。

参数index_col

可省。指定表格中的任一列作为行标签,默认None。

参数encoding

可省。指定解码的字符集,默认用网页源码指定的字符集。

import pandas as pda
# 从网站的第一个表格中筛选出带有"高匿名"的项
# 指定用第0列作为行标签,第1和2行作为列标签,用UTF-8解码
data = pd.read_html('http://www.kuaidaili.com/free/', match='高匿名', index_col=0, header=[0,1], encoding='UTF-8')[0]
# 数据存为CSV文件
data.to_csv('高匿名代理ip.csv')

你可能感兴趣的:(python,#,分析,#,爬虫,python)