Python 网络数据采集（一）：BeautifulSoup

 作者：高玉涵
 时间：2022.5.20 16:47
 博客：blog.csdn.net/cg_i

助力每一个不知死活的梦想。

起个头

 网络数据采集并不是一门语言的独门秘籍，Python、Java、PHP、C#、Go 等语言都可以讲出精彩的故事。有人说编程语言就是宗教，不同语言的设计哲学不同，行为方式各异，“非我族类，其心必异”，但本着美好生活、快乐修行的初衷，我对所有语言都时刻保持敬畏之心，尊重信仰自由，努力做好自己的功课。对爱好 Python 的人来说，人生苦短，Python 当歌！简洁轻松的语法，开箱即用的模块，强大快乐的社区，总可以快速构建出简单高效的解决方案。使用 Python 的日子总是充满快乐的，本人使用 Python 网络数据采集的故事也不例外。本着独乐乐，不如众乐乐，遂想不如将这次学习经历分享。鉴于网络数据采集涉及多个领域、内容包罗万象，就此一篇远不足以覆盖所有主题，与其如此，倒不如，做一个专栏，以一个个例子程序开始，通过思考和解决问题，一层层将主题展开。考虑到这是我的一次全新尝试，也只是利用工作之余闲暇时间，边学习边整理，能持否？就用一句话来自勉”但行好事，莫问前程“。

网络数据采集大有所为

 在大数据深入人心的时代，网络数据采集作为网络、数据库与机器学习等领域的交汇点，已经成为满足个性化网络数据需求的最佳实践。搜索引擎可以满足人们对数据的共性需求，即“我来了，我看见”，而网络数据采集技术可以进一步精练数据，把网络中杂乱无意的数据聚合成合理规范的形式，方便分析与挖掘，真正实现“我征服”。工作中，你可能经常为找数据而烦恼，或者眼睁睁看着眼前的几百页数据却只能长恨咫尺天涯，又或者数据杂乱无章的网站中满是带着陷阱的表单和坑爹的验证码，甚至需要的数据都在网页版的 PDF 和网络图片中。而作为一名网站管理员，你也需要了解常用的网络数据采集手段，以及常用的网络表单安全措施，以提高网站访问的安全性，所谓道高一尺，魔高一丈······一念清净，烈焰成池，一念觉醒，方登彼岸。

第一个任务

 一旦你开始网络数据采集，就会感受到浏览器为我们做的所有细节。网络上如果没有 HTML 文本格式层、CSS 样式层、JavaScript 执行层和图像渲染层，乍看起来会有点儿吓人，但是在这里，我将介绍如何不通过浏览器的帮助来格式化和理解数据。我的任务是爬取 https://free.kuaidaili.com/free/inha/ 这个页面里所有代理服务器的信息，思考之下通常的想法：

• 通过网站域名获取 HTML数据
• 根据目标信息解析数据
• 存储目标信息
• 如果有必要，移动到另一个网页重复这个过程。

 我将围绕上述思考来学习并编写爬虫程序。

1. Beautifulsoup 简介

 “美味的汤，绿色的浓汤，
 在热气腾腾的盖碗里装！
 谁不愿意尝一尝，这样的好汤？
 晚餐用的汤，美味的汤！”

 BeautifulSoup 库的名字取自刘易斯·卡罗尔在《爱丽丝梦游仙境》里的同名诗歌。

以下内容引用自《Beautiful Soup 4.4.0 文档》

 Beautiful Soup 是一个可以从 HTML 或 XML 文件中提取数据的 Python 库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式. Beautiful Soup 会帮你节省数小时甚至数天的工作时间.

 就像它在仙境中的说法一样，BeautifulSoup 尝试化平淡为神奇。它通过定位 HTML 标签来格式化和组织复杂的网络信息，用简单易用的 Python 对象为我们展现 XML 结构信息。

1.1 安装 BeautifulSoup

 由于 BeautifulSoup 库不是 Python 标准库，因此需要单独安装。我使用最新的 BeautifulSoup 4 版本（也叫 BS4）。BeautifulSoup 4 的所有安装方法都可在官方文档里面找到，这里就不再过多赘述。另外，注意所有例子只在 Python 3.x 下运行。

1.1.2 运行 BeautifulSoup

 BeautifulSoup 库最常用的对象恰好就是 BeautifulSoup 对象。

from urllib.request import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://www.baidu.com")
bsObj = BeautifulSoup(html.read())
print(bsObj.title)

 输出结果是：

 代码第一行的含义：它查找 Python 的 request 模块（在 urllib 库里面），只导入一个 urlopen 函数。urllib 是 python 的标准库（就是说你不用额外安装就可以运行这个例子），包含了从网络请求数据，处理 cookie，甚至改变请求头和用户代理这些元数据的函数。网络采集中将广泛使用 urllib，所以建议你读读这个库的 Python 文档（https://docs.python.org/3/library/urllib.html）。

 urlopen 用来打开并读取一个从网络获取的远程对象。因为它是一个非常通用的库（它可以轻松读取 HTML 文件、图像文件，或其他任何文件流），所以我将频繁地使用它。然后调用 html.read() 获取网页中的 HTML 内容。这样就可以把 HTML 内容传到 BeautifulSoup 对象，转换成下面的结构：

html -> ……

---- head -> 百度一下，你就知道

-------- title -> 百度一下，你就知道

 可以看出，我们从网页中提取的