1、解析html并以友好形式显示：BeautifulSoup(html_doc,'html.parser') print(soup.prettify())
html_doc = """
The Dormouse's story

The Dormouse's story

Once upon a time there were three little sisters; and their names were
Elsie,
Lacie and
Tillie;
and they lived at the bottom of a well.

...

"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, 'html.parser')

print(soup.prettify())

2、结构语句：
soup.title #获取标题The Dormouse's story
sout.title.name
soup.title.string #获取标题标签内的内容 The Dormouse's story
soup.title.parent.name
soup.p #获取第一个标签p
soup.p['class'] #获取第一个标签p的class内容
soup.a #获取第一个标签a
soup.find_all('a') #获取所有标签a，以列表返回
soup.find(id="link3") #根据属性查找
for link in soup.find_all('a'):
print(link.get('href'))
# http://example.com/elsie
# http://example.com/lacie
# http://example.com/tillie

print(soup.get_text()) #获取文档内容，不带任何标签
3、其他组件安装：
pip install lxml
pip install html5lib
4、几种解析器：
BeautifulSoup(markup, "html.parser")
BeautifulSoup(markup, "lxml")
BeautifulSoup(markup, "html5lib")
5、tag的用法：
soup = BeautifulSoup('Extremely bold')
tag = soup.b
tag.name
tag.name = "blockquote"
tag.string
tag.string.replace_with("No longer bold")
tag['class']
tag.attrs
tag['class'] = 'verybold'
tag['id'] = 1
del tag['class']
del tag['id']
6、tag.contents 将子节点以列表输出。
通过tag的 .children 生成器,可以对tag的子节点进行循环:
for child in title_tag.children:
print(child)
.descendants 属性可以对所有tag的子孙节点进行递归循环
for child in head_tag.descendants:
print(child)
7、循环输出不带标签的所有内容：
for string in soup.strings:
print(repr(string))
去掉空白
for string in soup.stripped_strings:
print(repr(string))
8、.parent 获得父节点
.parents获得所有父节点
.next_sibling / .previous_sibling 兄弟节点
.next_element 和 .previous_element 指向解析过程中下一个被解析的对象
9、find/find_all
使用正则：
import re
for tag in soup.find_all(re.compile("^b")):
print(tag.name)

body

b

列表
soup.find_all(["a", "b"])

tag.has_attr('id')
soup.find_all(href=re.compile("elsie"), id='link1')
data_soup.find_all(attrs={"data-foo": "value"})
soup.find_all("a", class_="sister")
soup.find_all(string="Elsie")

soup.find_all("a", limit=2) #只返回2个
soup.html.find_all("title", recursive=False) #只检查1级子节点

find_parents() 和 find_parent()
find_next_siblings() 合 find_next_sibling()
find_previous_siblings() 和 find_previous_sibling()
find_all_next() 和 find_next()
find_all_previous() 和 find_previous()

css选择器方式查找：
soup.select("p nth-of-type(3)")