python爬虫从0到1 -beautifulsoup（bs4）的基本使用
文章目录
- （一）bs4基本简介
-
- 1. 功能
- 2. 优缺点
- （二）安装以及创建
-
- 1. 安装.
- 2. 导入
- 3. 创建对象
- （三）节点定位
-
- 根据标签名查找结点
- （四）bs4 的一些函数
-
- 1. find
- 2. find_all
- 3. select
- （五）获取节点信息
- （六）获取节点属性
（一）bs4基本简介
1. 功能
beautifulsoup简称bs4，和lxml一样是一个html的解析器，主要功能也是解析和获取数据。
2. 优缺点
缺点：效率总体来说没有lxml高
优点：接口设计人性化，使用方便
（二）安装以及创建
1. 安装.
pip install bs4
2. 导入
from bs4 import beautifulsoup
3. 创建对象
- 服务器响应的文件生成对象
soup = BeautifulSoup(response.read().decode('utf-8'),'lxml')
- 本地文件生成对象
soup = BeautifulSoup(open('beautiful.html',encoding='utf-8'),'lxml')
注：打开文件格式默认为gbk，因此我们需要指定编码为utf-8
（三）节点定位
根据标签名查找结点
以下实例由此HTML源码为基础：
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Title</title>
</head>
<body>
<div>
<ul>
<li id="l1">北京</li>
<li id = 'l2'>上海</li>
<li class="cl3">重庆</li>
<li class="cl4">天津</li>
<p>welcome</p>
<a href="" id = 'i1' class="a1">python爬虫</a>
</ul>
</div>
<div id="i2">
<p id = "p1">hello world</p>
<a href="https://baidu.com" id = 'i3' title="t2">baidu</a>
</div>
</body>
</html>
- 查找第一个符合条件的值:
print(soup.a)
- 查找标签的属性和属性值并以列表的形式展现
print(soup.a.attrs)
（四）bs4 的一些函数
1. find
- 返回第一个符合条件的结果
print(soup.find('a'))
- 根据title的值来查找对应的标签对象
print(soup.find('a',title="t2"))
- 根据class的值来查找对应的标签对象
注：class在这里需要添加下划线来表示本身而不是关键字。
print(soup.find('a',class_="a1"))
2. find_all
- 返回所有符合条件的标签，并以列表的形式显示
print(soup.find_all('a'))
- 返会多个标签，因为返回的结果为列表，因此在打印多个标签结果时，需要加上[]
print(soup.find_all(['a','p']))
- 返回前两个符合条件的标签
print(soup.find_all('li',limit=2))
3. select
- 返回所有符合条件的结果
print(soup.select('a'))
- 通过类选择器.表示class。
print(soup.select('.a1'))
- 通过类选择器#来表示id
print(soup.select('#i1'))
- 通过属性选择器来查找li中带有id的结果
print(soup.select('li[id]'))
- 通过属性选择器查找li中class为cl3 的结果
print(soup.select('li[class= "cl3"]'))
- 通过后代选择器（空格），打印div所有后代为li的值
print(soup.select('div li'))
- 子代选择器 > 打印某一级的子标签
print(soup.select('div > ul > li'))
- 打印多个标签结果 ,在select属性中不需要加[],输出的结果以列表的形式显示
print(soup.select('a,p'))
（五）获取节点信息
获取节点内容
obj.string
obj.get_text()
实例：
html代码
obj = soup.select('#i2')[0]
print(obj.string)
print(obj.get_text())
运行结果：
注：如果标签对象中只有内容，那么string和get_text()都可以使用。如果标签对象中，除了内容还有标签，那么string获取不到数据，只有get_text()可以获取到数据。一般情况下，我们用get_text()居多。
（六）获取节点属性
obj.name获取标签名字
obj.attrs获取节点属性和属性值
注：获取节点属性时需要加上[0]取返回列表的第一个值。
obj = soup.select('.cl3')[0]
# 获取标签的名字
print(obj.name)
# 获取属性值并以字典的形式显示
print(obj.attrs)
运行结果：
三种方法返回节点属性值
obj = soup.select('.cl3')[0]
print(obj.attrs.get('class'))
print(obj.get('class'))
print(obj['class'])
运行结果：
