编程相关 | Python简单网页 标签抓取

1 环境

Windows7 x64

Python 3.7

2 流程

i) 配置相关库

ii) 爬取网页源代码信息

iii) 用函数爬取特定标签里不同参数的文字

3 代码

3.1 配置相关库（request和BS4)

输入

from urllib.request import urlopen #获取用以请求打开网页的库
from bs4 import BeautifulSoup #获取解析网页的库

输出

导入爬虫相关库

3.2 爬取网页源代码

输入

html=urlopen("http://www.pythonscraping.com/pages/warandpeace.html") #获取html结构与内容
bs0bj=BeautifulSoup(html) #提取name信息

输出

• 抓取特定网页www.pythonscraping.com/pages/warandpeace.html的结构与内容

• BeautifulSoup从网页源代码中爬取name信息

备注

name 属性用于对提交到服务器端的表单数据进行标识，或者在客户端通过 JavaScript 引用表单数据。

只有设置了 name 属性的表单元素，才能在提交表单时传递它们的值。

3.3 爬取特定标签里不同参数的文字

BeautifulSoup里的find()和findAll()函数，可通过标签的不同属性，查找需要的标签组或单个标签

3.3.1 文本参数text

输入

nameList=bs0bj.findAll(text="the prince") #查找网页中包含"the prince"内容的标签
print(len(nameList)) #统计字符"the prince"出现次数

输出

• 查找并打印网页中包含"the prince"内容的标签

• 统计字符"the prince"出现次数

备注

• text使用标签的文本内容去匹配，而不是用标签属性

• len()函数返回字符串长度或项目个数（变量内含多个项目/元素时）

3.3.2 关键词参数keyword

输入

allText = bs0bj.findAll(id="text") #关键词参数keyword，可选择具有指定属性的标签
print(allText[0].get_text())

输出

打印网页所有text文本内容

备注

关键词参数keyword可以选择具有指定属性的标签

3.3.3 标签参数tag

输入

tagList=bs0bj.findAll({"h1","h2"})#返回一个包含HTML文档h1标题标签的列表
print(tagList[0].get_text())

输出

返回一个包含HTML文档中h1、h2标题标签的列表

备注

标签参数tag可以传一个或多个标签名称组成的Python列表做标签参数

3.3.4 属性参数attributes

输入

nameList=bs0bj.findAll("span",{"class":"green"}) #提取所有span标签下的绿色文字内容
for name in nameList: #注意for的用法：遍历列表所有名字
    print(name.get_text()) #清除标签信息，打印人物名称列表

输出

• 用bs0bj.findAll（tagName, tagAttributes）抽取只包含在span>标签里的文字，得到war and peace人物名称列表

备注

• bs0bj.tagName只能获取页面中第一个指定标签，而bs0bj.findAll（tagName, tagAttributes)获取页面中所有指定标签

• name.get_text()会把HTML文档中所有标签、超链接、段落清除，返回一串不带标签的文字，所以通常最后打印、存储、操作数据时才使用。一般情况下应保留HTML文档的标签结构，便于BeautifulSoup对象查找。

• 注意for的用法：遍历列表所有名字

4 全文

代码全文如下：

###############################################################################
# Crawler
# Author: Lenox
# Data:2019.05.15
# License: BSD 3.0
###############################################################################
​
# 配置相关库
from urllib.request import urlopen #获取请求打开网页的库
from bs4 import BeautifulSoup #获取解析网页的库
​
# 爬取网页源代码信息
html=urlopen("http://www.pythonscraping.com/pages/warandpeace.html")#获取html结构与内容
bs0bj=BeautifulSoup(html)
​
# 爬取特定标签里不同参数的文字
# 文本参数text
nameList=bs0bj.findAll(text="the prince")#查找网页中包含"the prince"内容的标签
print(len(nameList)) #统计字符"the prince"出现次数
​
# 关键词参数keyword
allText = bs0bj.findAll(id="text")#关键词参数keyword，可选择具有指定属性的标签
print(allText[0].get_text())
​
# 标签参数tag
tagList=bs0bj.findAll({"h1","h2"})#返回一个包含HTML文档h1标题标签的列表
print(tagList[0].get_text())
​
# 属性参数attributes
nameList=bs0bj.findAll("span",{"class":"green"})#提取所有span标签下的绿色文字内容
for name in nameList: #注意for的用法，遍历列表所有名字
 print(name.get_text()) #清除标签信息，打印人物名称列表
​

5 参考

[1]《Python网络数据采集》 【美】Ryan Mitchell著；陶俊杰、陈小莉译