Beautiful Soup 简称 BS4(其中 4 表示版本号)是一个 Python 第三方库,它可以从 HTML 或 XML 文档中快速地提取指定的数据。Beautiful Soup 语法简单,使用方便,并且容易理解,因此您可以快速地学习并掌握它。本节我们讲解 BS4 的基本语法。
由于 Bautiful Soup 是第三方库,因此需要单独下载,下载方式非常简单,执行以下命令即可安装:
pip install bs4
由于 BS4 解析页面时需要依赖文档解析器,所以还需要安装 lxml 作为解析库:
pip install lxml
Python 也自带了一个文档解析库 html.parser, 但是其解析速度要稍慢于 lxml。除了上述解析器外,还可以使用 html5lib 解析器,安装方式如下:
pip install html5lib
该解析器生成 HTML 格式的文档,但速度较慢。
“解析器容错”指的是被解析的文档发生错误或不符合格式时,通过解析器的容错性仍然可以按照既定的正确格式实现解析。
创建 BS4 解析对象是万事开头的第一步,这非常地简单,语法格式如下所示:
上述代码中,html_doc 表示要解析的文档,而 html.parser 表示解析文档时所用的解析器,此处的解析器也可以是 'lxml' 或者 'html5lib',示例代码如下所示:
c.biancheng.net
一个学习编程的网站
输出结果:
如果是外部文档,您也可以通过 open() 的方式打开读取,语法格式如下:
soup = BeautifulSoup(open('html_doc.html', encoding='utf8'), 'lxml')
下面对爬虫中经常用到的 BS4 解析方法做详细介绍。
Beautiful Soup 将 HTML 文档转换成一个树形结构,该结构有利于快速地遍历和搜索 HTML 文档。下面使用树状结构来描述一段 HTML 文档:
c语言中文网 c.biancheng.net
一个学习编程的网站
树状图如下所示:
图1:HTML文档树结构图
文档树中的每个节点都是 Python 对象,这些对象大致分为四类:Tag , NavigableString , BeautifulSoup , Comment 。其中使用最多的是 Tag 和 NavigableString。
1) Tag节点
标签(Tag)是组成 HTML 文档的基本元素。在 BS4 中,通过标签名和标签属性可以提取出想要的内容。看一组简单的示例:
c.biancheng.net
', 'html.parser')输出结果如下:
soup.p输出结果:c.biancheng.net
soup.p.b输出结果: c.biancheng.net soup.p.text输出结果: c.biancheng.net soup.p.attrs输出结果: {'class': ['Web', 'site', 'url']} type(soup.p)输出结果:soup.p['class']输出结果: ['Web', 'site', 'url'] class属性重新赋值: c.biancheng.net
Tag 对象提供了许多遍历 tag 节点的属性,比如 contents、children 用来遍历子节点;parent 与 parents 用来遍历父节点;而 next_sibling 与 previous_sibling 则用来遍历兄弟节点 。示例如下:
c.biancheng.net
一个学习编程的网站
输出结果:
c.biancheng.net
一个学习编程的网站
python教程, c语言教程 and #以列表的形式输出 ['\n',c.biancheng.net
, '\n',一个学习编程的网站
, '\n', python教程, '\n', c语言教程, '\n']
Tag 的 children 属性会生成一个可迭代对象,可以用来遍历子节点,示例如下:
输出结果:
#注意此处已将换行符"\n"省略c.biancheng.net
一个学习编程的网站
想了解更多相关示例可参考官方文档:点击前往
find_all() 与 find() 是解析 HTML 文档的常用方法,它们可以在 HTML 文档中按照一定的条件(相当于过滤器)查找所需内容。find() 与 find_all() 的语法格式相似,希望大家在学习的时候,可以举一反三。
BS4 库中定义了许多用于搜索的方法,find() 与 find_all() 是最为关键的两个方法,其余方法的参数和使用与其类似。
1) find_all()
find_all() 方法用来搜索当前 tag 的所有子节点,并判断这些节点是否符合过滤条件,最后以列表形式将符合条件的内容返回,语法格式如下:
find_all( name , attrs , recursive , text , limit )
参数说明:
find_all() 使用示例如下:
c.biancheng.net
一个学习编程的网站
加入我们阅读所有教程
最后以列表的形式返回输出结果,如下所示:
[python教程, c语言教程, django教程, 成为vip] [python教程, c语言教程]
按照标签属性以及属性值查找 HTML 文档,如下所示
输出结果:
[一个学习编程的网站
] [成为vip]
正则表达式、列表,以及 True 也可以当做过滤条件,使用示例如下:
输出结果如下:
第一个print输出: [c.biancheng.net, python教程, c语言教程, django教程, 成为vip] 第二个print输出: [python教程, c语言教程, django教程, 成为vip] 第三个print输出: [python教程, c语言教程, django教程, 成为vip] 第四个print输出: html head title body p b p a a a p a 最后一个输出: body b
BS4 为了简化代码,为 find_all() 提供了一种简化写法,如下所示:
上述两种的方法的输出结果是相同的。
2) find()
find() 方法与 find_all() 类似,不同之处在于 find_all() 会将文档中所有符合条件的结果返回,而 find() 仅返回一个符合条件的结果,所以 find() 方法没有limit
参数。使用示例如下:
c.biancheng.net
一个学习编程的网站
加入我们阅读所有教程
输出结果如下:
a标签: python教程 指定href属性: python教程 title:"c语言中文网" 正则匹配:c.biancheng.net
#attrs参数值加入我们阅读所有教程
使用 find() 时,如果没有找到查询标签会返回 None,而 find_all() 方法返回空列表。示例如下:
输出结果如下:
None []
BS4 也为 find()提供了简化写法,如下所示:
两种写法的输出结果相同,如下所示:
"c语言中文网" "c语言中文网"
BS4 支持大部分的 CSS 选择器,比如常见的标签选择器、类选择器、id 选择器,以及层级选择器。Beautiful Soup 提供了一个 select() 方法,通过向该方法中添加选择器,就可以在 HTML 文档中搜索到与之对应的内容。应用示例如下:
c.biancheng.net
一个学习编程的网站
加入我们阅读所有教程
介绍:
输出结果:
第一个输出: ["c语言中文网" ] 第二个输出: [python教程, c语言教程, django教程, 成为vip, 关于网站, 关于站长] 第三个输出: [加入我们阅读所有教程
] 第四个输出: ["c语言中文网" ] 第五个输出: [python教程, 成为vip] 第六个输出: [django教程] 第七个输出: [python教程] 第八个输出: [关于网站, 关于站长] 最后的print输出: [关于网站]
如果想了解更多关于 BS4 库的使用方法,可以参考官方文档:Beautiful Soup 4.4.0 文档 — Beautiful Soup 4.2.0 中文 文档