探索Python中的Beautiful Soup：网页数据解析利器

1️⃣ 简介

​ 什么是Beautiful Soup？

官方解释如下：
Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。
它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。

​ Beautiful Soup的优点和用途

​ 简单易用：Beautiful Soup提供了直观的API，使得解析HTML和XML文档变得非常容易。
​ 强大的解析功能： Beautiful Soup可以帮助你解析复杂的HTML和XML文档，轻松地导航和搜索文档中的元素，无论文档多么庞大或复杂。
​ ✍灵活性： 它可以处理不完整或破损的HTML，具有一定的容错性，因此在处理真实世界的网页时非常有用。
​ 支持多种解析器： Beautiful Soup支持多种解析器，包括Python标准库中的html.parser、lxml和第三方库html5lib，因此你可以根据需求选择最适合的解析器。
​ 网页数据采集： Beautiful Soup通常与网络爬虫一起使用，用于抓取网页上的数据，例如新闻标题、商品信息、评论等。
​ 数据清洗： 你可以使用Beautiful Soup来清洗和规范网页数据，去除不需要的标记或格式化数据以供进一步处理。
​ …

​ 安装和导入Beautiful Soup

# pip install beautifulsoup4 安装
 
from bs4 import BeautifulSoup

​ Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 Python默认的解析器，lxml 解析器更加强大，速度更快，推荐安装。

pip install lxml

​ 另一个可供选择的解析器是纯Python实现的 html5lib , html5lib的解析方式与浏览器相同,可以选择下列方法来安装html5lib:

pip install html5lib

​ 解析器对比：

2️⃣ Beautiful Soup的基础用法

​ ❗❗下面的一段HTML代码将作为例子被多次用到.这是 爱丽丝梦游仙境的 的一段内容(以后内容中简称为 爱丽丝 的文档):

html_doc = """


The Dormouse's story

Once upon a time there were three little sisters; and their names were
Elsie,
Lacie and
Tillie;
and they lived at the bottom of a well.

...
"""

从一个soup对象开始

​ 将一段文档传入BeautifulSoup 的构造方法,就能得到一个文档的对象, 可以传入一段字符串或一个文件句柄.

from bs4 import BeautifulSoup
soup = BeautifulSoup(open("index.html"))    # 传入文件
soup = BeautifulSoup("......")   # 文本

构造soup对象时，可以传入解析器参数，如果不传入的话，会以最好的方式去解析

四种对象

​ Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种: Tag , NavigableString , BeautifulSoup , Comment .

​ 在学习以下内容时请先注意，我已经生成过了soup对象

# 获取soup对象，html_doc 是上面的爱丽丝的文档
soup = BeautifulSoup(html_doc, 'html.parser')

Tag

Tag 对象与XML或HTML原生文档中的tag相同:

tag_a = soup.a
print(tag_a)
# Elsie
# 虽然文档中含有多个a标签，但是该用使用方法只会返回第一个匹配的tag

# 每个标签都有一个name
print(tag_a.name) # a
tag_a.name = 'test' # 给原来的a标签改名字
print(tag_a.name) # test
print(tag_a) # Elsie

# tag Attributes tag的属性的操作方法与字典相同
print(tag_a['href']) # http://example.com/elsie
tag_p = soup.p
print(tag_p) # 
The Dormouse's story
print(tag_p['class']) # ['title'] 因为可能会存在多个class，所以这里是list

# 获取标签对象的文本内容
print(tag_p.text)
# 取到p下所有的文本内容,text属性更常用，并且它可以直接过滤掉注释
print(tag_p.string)  # p下的文本只有一个时，取到，否则为None
print(tag_p.strings) # 拿到一个生成器对象, 取到p下所有的文本内容
for item in tag_p.strings:
    print(item)

这种情况下，会产生Comment对象

markup = ""
soup = BeautifulSoup(markup,"html.parser")
comment = soup.b.string
print(comment)
print(type(comment))

结果为：

Hey, buddy. Want to buy a used parser?

遍历文档树（导航文档树）

# 1、嵌套选择
print(soup.head.title.text)
print(soup.body.p.text)

# 2、子节点、子孙节点
print(soup.p.contents) # 获取p下所有子节点
print(soup.p.children)	# 得到一个迭代器,包含p下所有子节点
for child in soup.p.children:
    print(child)

print(soup.p.descendants)  # 获取子孙节点,p下所有的标签都会选择出来
for child in soup.p.descendants:
    print(child)
    
# 3、父节点、祖先节点
print(soup.a.parent)  # 获取a标签的父节点
print(soup.a.parent.text)  # 获取a标签的父节点
print(soup.a.parents)  # 找到a标签所有的祖先节点，父亲的父亲，父亲的父亲的父亲...

# 4、兄弟节点
print(soup.a.next_sibling)  # 下一个兄弟,类型：
print(soup.a.next_sibling.next_sibling)
print(soup.a.previous_sibling.previous_sibling)
print(soup.a.previous_siblings)  # 上面的兄弟们=>生成器对象

搜索文档树

​ Beautiful Soup定义了很多搜索方法,这里着重介绍2个: find() 和 find_all() .其它方法的参数和用法类似,请读者举一反三.

find_all

find_all( name , attrs , recursive , string , **kwargs )

▪ name参数

# 一、 name 四种过滤器: 字符串、正则表达式、列表、方法
# 1、字符串：即标签名
all_p = soup.find_all(name='p')
print(all_p)

# 2、正则表达式
all_a = soup.find_all(name=re.compile('^b'))  # 找出以b开头的全部标签，结果为body、b标签
print(all_a)

# 3、列表：如果传入列表参数,Beautiful Soup会将与列表中任一元素匹配的内容返回.下面代码找到文档中所有标签和标签:
print(soup.find_all(name=['a', 'b']))

# 4、方法:如果没有合适过滤器,那么还可以定义一个方法,方法只接受一个元素参数 ,如果这个方法返回 True 表示当前元素匹配并且被找到,如果不是则反回 False
def has_class_and_id(tag):
    return tag.has_attr('class') and tag.has_attr('id')

print(soup.find_all(name=has_class_and_id)) # 获取含有class、id的标签

▪ keyword 参数

print(soup.find_all(href="http://example.com/tillie"))
print(soup.find_all(href=re.compile("^http://")))
print(soup.find_all(id=True)) # 拥有id属性的tag
print(soup.find_all(href=re.compile("http://"), id='link1')) # 多个属性
print(soup.find_all("a", class_="sister")) # 注意，class是Python的关键字，所以class属性用class_
print(soup.find_all("a",attrs={"href": re.compile("^http://"), "id": re.compile("^link[12]")}))

▪ limit 参数

​ find_all() 方法返回全部的搜索结构,如果文档树很大那么搜索会很慢.如果我们不需要全部结果,可以使用 limit 参数限制返回结果的数量.效果与SQL中的limit关键字类似,当搜索到的结果数量达到 limit 的限制时,就停止搜索返回结果.

print(soup.find_all("a",limit=2))	

▪ recursive 参数

调用tag的 find_all() 方法时,Beautiful Soup会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=False

find

find( name , attrs , recursive , string , **kwargs )

​ find_all() 方法将返回文档中符合条件的所有tag,尽管有时候我们只想得到一个结果.比如文档中只有一个标签,那么使用 find_all() 方法来查找标签就不太合适, 使用 find_all 方法并设置 limit=1 参数不如直接使用 find() 方法.下面两行代码是等价的:

soup.find_all('title', limit=1)
# []

soup.find('title')
# 

​ 唯一的区别是 find_all() 方法的返回结果是值包含一个元素的列表,而 find() 方法直接返回结果.find_all() 方法没有找到目标是返回空列表, find() 方法找不到目标时,返回 None .

soup.head.title 是 tag的名字 方法的简写.这个简写的原理就是多次调用当前tag的 find() 方法:

soup.head.title
# 

soup.find("head").find("title")
# 

Css选择器

seclet

css选择器的方法为select(css_selector)
css选择器可以参考CSS参考手册

以下代码仅展示部分选择功能：

soup.select("title")
# []

soup.select("html head title")
# []

soup.select(".sister")
# [Elsie,
#  Lacie,
#  Tillie]

soup.select("#link1")
# [Elsie]

soup.select('a[href]')
# [Elsie,
#  Lacie,
#  Tillie]

select_one

返回查找到的元素的第一个

3️⃣ 网页数据提取示例

​ 页面获取地址：豆瓣电影TOP250

​ 本篇文章只为讲述BeautifulSoup的应用，案例比较简单，仅用于巩固BeautifulSoup的使用，所以取页面的时候就直接选择简单粗暴地方法，打开页面后右键 查看网页源代码 ，直接复制存储到本地

​ 获取信息：

from bs4 import BeautifulSoup

soup = BeautifulSoup(open('写你的文件地址', encoding='utf-8'), 'html.parser')

ol = soup.find('ol', class_='grid_view') # 获取到电影数据最外层的标签
# print(ol)

item_list = ol.find_all(class_='item') # 获取每个电影信息外层信息

for item in item_list:
    # print('⭕',item)
    print(item.select_one('.info .hd .title').text) # 获取电影名称
    print(item.select_one('.info .bd .rating_num').text) # 获取电影评分
    # ...更多感兴趣的可以自己尝试呦

​

4️⃣ 写在最后

​ 本编文章仅展示Beautiful Soup部分功能，更强大、更有意思的使用方法可详看文档：Beautiful Soup 4.4.0 文档

​ 如果您有任何问题、建议或反馈，欢迎在评论区留言，非常愿意听取您的声音。感谢您的阅读，期待与您在未来的博客分享中再次相会！