Python3网络爬虫教程13——BeautifulSoup4基本使用及遍历文档树

上接：
Python3网络爬虫教程12——页面解析及正则表达式的使用
https://blog.csdn.net/u011318077/article/details/86633330

5. BeautifulSoup4使用

• BeautifulSoup4
• 官方文档地址：
  https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/#id7
• 几个常用提取信息工具的比较
  • 正则：很快，但是正则表达式很难完美写出
  • beautifulsoup4: 慢，使用简单，安装简单，数据较少时推荐使用
  • lxml: 比较快，使用简单，安装一般
• BeautifulSoup4的用法
• 参考案例67_7

5.1. HTML或XML中的四大对象

• 四大对象

  • Tag
  • NavigableString
  • Beautifulsoup
  • Comment

• Tag（标签对象）

  • 对应HTML中的标签
  • 可以通过soup.tag_name
  • tag标签有两个重要的属性
    • name
    • attribute(使用时用.attrs)
      • attrs属性是一个字典，修改删除类似于字典
  • 参考实例67_8

• NavigableString（一般为字符串对象）

  • 查看标签内容中的值
  • 用法tag_name.string
  • 标签中的内容不能编辑，但是可以替换
  • 参考实例67_9,参考实例67_11

• Beautifulsoup（整个文档对象）

  • 表示一个文档的内容，大部分可以当做一个tag对象
  • Beautifulsoup实例的对象包含一个特殊的属性
  • 对象包含了一个值为 “[document]” 的特殊属性
  • 使用方法 soup.name
  • 参考实例67_9

• Comment（注释对象）

  • 通常情况下Tag , NavigableString , BeautifulSoup 几乎覆盖了
  • html和xml中的所有内容,但是还有一些特殊对象.
  • 容易让人担心的内容是文档的注释部分
  • Comment对象是一个特殊类型的 NavigableString 对象
  • 参考实例67_10

5.2. 遍历文档树

5.2.1. 子节点

• 子节点

  • 一个Tag可能包含多个字符串或其它的Tag,这些都是这个Tag的子节点.

  • Beautiful Soup提供了许多操作和遍历子节点的属性.

  • 操作文档树最简单的方法就是告诉它你想获取的tag的name

  • BS可以补全html文档中缺少的标签

  • 通过点取属性的方式只能获得当前名字的第一个tag

  • 得到所有的标签,或是通过名字得到比一个tag更多的内容的时候

    • soup.find_all(‘a’)
    • find_all返回的是一个列表

  • 参考实例67_12,补全后的内容参考67_12.html

  • 爱丽丝梦游仙境的例子，浏览器中显示的文档

    The Dormouse’s story
    Once upon a time there were three little sisters;
    and their names were Elsie, Lacie and Tillie;
    and they lived at the bottom of a well.
    …

• 子节点中的.contents .children .descendants

  • .contents 属性可以将tag的子节点以列表的方式输出
  • 标签也是 BeautifulSoup 对象的子节点
  • 字符串没有 .contents 属性,因为字符串没有子节点
  • 通过tag的 .children 生成器,可以对tag的子节点进行循环
  • 但是标签也包含一个子节点:字符串 “The Dormouse’s story”,
  • 这种情况下字符串 “The Dormouse’s story”也属于标签的子孙节点.
  • .descendants 属性可以对所有tag的子孙节点进行递归循环
  • 参考实例67_13

• .string .strings 和 stripped_strings

  • 如果tag只有一个 NavigableString 类型子节点,
  • 那么这个tag可以使用 .string 得到子节点
  • 如果一个tag仅有一个子节点,那么这个tag也可以使用 .string 方法,
  • 输出结果与当前唯一子节点的 .string 结果相同
  • 如果tag包含了多个子节点,tag就无法确定
  • .string 方法应该调用哪个子节点的内容,的输出结果是 None
  • 参考案例67_14
  • 如果包含多个字符串,可以使用 .strings 来循环获取
  • 输出的字符串中可能包含了很多空格或空行,
  • 使用 .stripped_strings 可以去除多余空白内容
  • 参考案例67_15

5.2.2. 父节点，兄弟节点

• 通过 .parent 属性来获取某个元素的父节点.

  • 在例子“爱丽丝”的文档中,标签是标签的父节点
  • 文档title的字符串也有父节点:标签
  • 文档的顶层节点比如的父节点是 BeautifulSoup 对象
  • BeautifulSoup 对象的 .parent 是None
  • 参考实例67_16

• 通过元素的 .parents 属性可以递归得到元素的所有父辈节点

  • 通过元素的 .parents 属性可以递归得到元素的所有父辈节点,
  • 使用了 .parents 方法遍历了标签到根节点的所有节点
  • .prettify()可以查看兄弟节点
  • 参考实例67_17

本章案例较多：
源代码请到GITHUB下载：
https://github.com/FangbaiZhang/TLXY_study_note/tree/master/Spider

下接：
Python3网络爬虫教程14——BeautifulSoup4之搜索文档树
https://blog.csdn.net/u011318077/article/details/86633433