Python网络爬虫：基础知识Beautiful Soup

一、Beautiful Soup简介

网络数据挖掘指的是从网站中获取数据的过程，数据挖掘技术可以让我们从网站世界中收集大量有价值的数据。

Beautiful Soup是一个Python库，可以从HTML或XML文件中获取数据，利用它你可以做很多事情，比如你可以持续解析某个商品的最新价格，以便跟踪价格的波动情况。

二、Beautiful Soup安装

安装Beautiful Soup

pip3 install beautifulsoup4

检验是否安装成功

from bs4 import BeautifulSoup

三、创建一个Beautiful Soup对象

四、查找内容

find()方法

在find()方法中传入节点名，例如ul，这样就可以获取第一个匹配的ul节点的内容，例如：

找到ul节点后，通过观察html可以得知，ul下有2个li，每个li下有2个div，则通过student_entries.li可以获取第一个li节点的数据，继续通过student_entries.li.div可以获取第一个li下第一个div的数据，例如：

继续通过div.string可以获取div的内容：

使用正则表达式查找：

find()方法支持根据正则表达式查找内容，例如：

find_all()方法

find()方法返回第一个匹配的内容，find_all()方法会返回所有匹配的内容列表，例如上面的根据正则表达式查找邮箱地址，将find()方法换成find_all()方法，则会返回所有匹配成功的内容：

find_parent()方法

find_parent()方法往上查找内容，例如，从第一个li节点上使用find_parent()方法，可以获取父节点的内容：

find_next_sibling()方法

sibling是兄弟姐妹的意思，find_next_sibling()方法获取下一个同级别的兄弟节点，例如：

其它方法还有很多，例如：

find_next()方法

find_all_next()方法

find_previous_sibling()方法

find_all_previous()方法