Python爬虫——BeautifulSoup，获取HTML中文档，标签等内容

BeautifulSoup

1.定义：

将复杂的HTML文档转换成一个复杂的树形结构，每个结点都是一个Python对象，所有对象可以分为四种：

Tag

NavigableString

BeautifulSoup

Comment

2.说明：

首先要引入该函数，再打开相应的html文件读取其中的内容，在使用BeautiSoup对其进行解析，解析的时候要使用相应类型的解析器html.parser

bs当中是我们获取到的该网址的解析信息，其中包含了如head，a，title等信息，这些名头，就是标签Tag

Tag：标签及其内容：拿到它所找到的第一个内容。

 print(bs.title)

只获得标签的内容，不要标签：

print(bs.title.string)

这个内容就是NavigableString（标签里的内容，string）

# 快速拿到标签里面的所有属性：

另外一个就是整个文档的访问：

 

# 它的打印结果就是bs4.BeautifulSoup，表示对整个文档的访问

 最后一个comment，是一个特殊的NavigableString，输出内容不包括注释符号

3.应用

A.文档的遍历

其中content可遍历的内容有很多：（目前了解即可）

 

 B.文档的搜索

--find_all()

字符串过滤：会查找与字符串完全匹配的内容

# 找到所有的列标签，统一放到t_list  

 正则表达式search()

 

# 意思是编译一个re.compile('a')对象，然后find_all其中的内容

自定义一个函数，传入该函数，根据它的要求进行搜索，其中应用find_all（了解）

--kwargs（参数）

# 入参id=‘head’，找到该条件下的所有内容 

 --text参数

 

# 入参文本内容参数，找到对应的文本都有谁

--limit参数 

 

# 限定读到多少条数据

--css选择器