Python网络爬虫——BeautifulSoup4库的使用

使用requests库获取html页面并将其转换成字符串之后，需要进一步解析html页面格式，提取有用信息。

BeautifulSoup4库，也被成为bs4库（后皆采用简写）用于解析和处理html和xml。

1.调用

bs4库中最主要的便是bs类了，每个实例化的对象都相当于一个html页面

需要采用from-import导入bs类，同时通过BeautifulSoup（）创建一个bs对象

代码如下：

import requests
from bs4 import BeautifulSoup
r=requests.get("https://www.baidu.com/")
r.encoding="utf-8"
soup=BeautifulSoup(r.text)
print(type(soup))

 

运行结果：

 

 2.常用属性

创建的BeautifulSoup对象是一个树形结构，它包含html页面中的每一个Tag（标签）元素，可以通过.的形式获得

常见的属性如下：

head：

html页面内容

title：

html页面标题，在之中，由