BS4模块

0. 概括

• 获取页面：urllib，requests
• 解析页面信息：正则表达式，BeautifulSoup4(BS4)

1. BS4简介

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个
工具箱，通过解析文档为Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。
你不需要考虑编码方式，除非文档没有指定一个编一下原始编码方式就可以了。

2. BS4的4种对象

2-1. BeautifulSoup对象

BeautifulSoup对象表示的是一个文档的内容。大部分时候，可以把它当作Tag对象，是一个特殊的Tag，我们可以分别获取它的类型，名称，以及属性。

2-2. Tag对象

Tag就是html中的一个标签，用BeautifulSoup就能解析出来Tag的具体内容，具体的格式为soup.name，其中name是html下的标签。

2-3. NavigableString

既然我们已经得到了标签的内容，那么问题来了，我们要想获取标签内部的文字怎么办呢？很简单，用.string即可。

2-4. 评论

注释对象是一个特殊类型的NavigableString对象，其输出的内容不包括注释符号。

3.使用方法

    import re
    from bs4 import BeautifulSoup
    
    html = """
    
    
    
    
The Dormouse's story
    
Once upon a time there were three little sisters; and their names were
    westos,
    Lacie and
    Tillie;
    and they lived at the bottom of a well.
    
...
    """
    soup = BeautifulSoup(html, 'html.parser')     
    print(soup.prettify())
    # 将html文件转换成可读的格式并输出
    # 需要安装第三方模块lxml；
    # soup = BeautifulSoup(html, 'lxml')
    

    # 1. 根据标签获取内容；
    # 标签的常用属性
    # 根据格式化， 如果title只有一个， 根据标签可以获取
    print(soup.title)
    print(type(soup.title))
    print(soup.title.name)  # 标签的名称
    
    # 获取标签里面的属性信息
    print(soup.a.attrs)
    print(soup.a.attrs['href'])
    
    # 标签常用的方法
    # get方法用于得到标签下的属性值，注意这是一个重要的方法，在许多场合都能用到，比如你要得到标签下的图像url,那么就可以用soup.img.get(‘src’)
    print(soup.a.get('href'))
    print(soup.a.get('class'))
    
    # string得到标签下的文本内容，只有在此标签下没有子标签，或者只有一个子标签的情况下才能返回其中的内容，否则返回的是None;
    # get_text()可以获得一个标签中的所有文本内容，包括子孙节点的内容，这是最常用的方法
    print(soup.a.string)    # 标签里面的内容
    print(soup.a.get_text())
    
    # 对获取的属性信息进行修改
    print(soup.a.get('href'))
    soup.a['href'] = 'http://www.baidu.com'
    print(soup.a.get('href'))
    print(soup.a)


    # 2. 面向对象的匹配
    # 查找符合条件的所有标签；
    aTagObj =  soup.find_all('a')
    print(aTagObj)
    for item in aTagObj:
        print(item)
        
    #  需求: 获取所有的a标签， 并且类名为"sister"
    aTagObj = soup.find_all('a', class_="sister")
    print(aTagObj)
    
    
    # 3. 根据内容进行匹配
    print(soup.find_all(text="story"))
    print(soup.find_all(text=re.compile('story\d+')))


	# 4. 返回符合条件的第一个标签内容
	print(soup.title)
	print(soup.p)
	print(soup.find('p', class_=re.compile(r'^ti.*?')))


	# 5. 返回符合条件的所有标签内容
	print(soup.find_all('p'))
	print(soup.find_all('p', class_='title', text=re.compile(r'.*?story.*?')))


	# 6. 获取符合条件的p标签或者a标签
	print(soup.find(['title', 'a']))
	print(soup.find_all(['title', 'a']))
	print(soup.find_all(['title', 'a'], class_=['title', 'sister']))


	# 7. CSS匹配
	# 标签选择器
	print(soup.select("title"))
	# 类选择器(.类名)
	print(soup.select(".sister"))
	# id选择器(#id名称)
	print(soup.select("#link1"))
	# 此处不支持正则表达式;
	# print(soup.select(re.compile("#link\d+")))
	# 属性选择器()
	print(soup.select("input[type='password']"))

4.BS4的四种解释器

官方中文文档：https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/
下表列出了主要的解析器,以及它们的优缺点:

Python标准库

• BeautifulSoup(markup, “html.parser”)
• Python的内置标准库
• 执行速度适中
• 文档容错能力强
• Python 2.7.3 or 3.2.2)前 的版本中文档容错能力差

lxml

• HTML 解析器 BeautifulSoup(markup, “lxml”)
• 速度快
• 文档容错能力强
• 需要安装C语言库

lxml

• XML 解析器
• BeautifulSoup(markup, [“lxml-xml”])
• BeautifulSoup(markup, “xml”)
• 速度快
• 唯一支持XML的解析器
• 需要安装C语言库

html5lib

• BeautifulSoup(markup, “html5lib”)
• 最好的容错性
• 以浏览器的方式解析文档
• 生成HTML5格式的文档
• 速度慢