使用Python实现简单爬虫：从入门到实践

引言

网络爬虫是自动化获取网页数据的强大工具，常用于数据收集、内容分析等场景。本文将通过一个原创的Python爬虫示例，引导初学者快速上手爬虫开发。我们将使用requests和BeautifulSoup库，爬取一个公开网页的标题和链接列表，代码简单且经过验证可运行。本教程适合Python初学者或希望了解爬虫基础的开发者。

准备工作

在开始之前，请确保完成以下准备：

1. 环境要求

• Python版本：Python 3.8或以上（推荐3.10）。

• 依赖库：需要安装requests和beautifulsoup4。

  pip install requests beautifulsoup4

• 开发工具：任意Python IDE（如PyCharm、VSCode）或Jupyter Notebook。

• 网络：确保网络畅通，能访问目标网站。

2. 目标网站

我们将以Example.com为例，这是一个公开的测试网站，适合学习爬虫：

• 网站内容简单，包含静态HTML，便于解析。

• 遵守robots.txt协议，未禁止爬取（截至2025年4月）。

• 注意：本文示例仅用于学习，实际爬虫需遵守目标网站规则和法律法规。

3. 学习目标

通过本文，你将学会：

• 使用requests发送HTTP请求。

• 使用BeautifulSoup解析HTML并提取数据。

• 将爬取结果保存到本地文件。

• 了解爬虫开发的注意事项。

实现步骤

以下是实现爬虫的详细步骤，代码经过测试，确保在Python 3.10环境下可运行。

1. 发送HTTP请求

我们使用requests库向目标网页发送GET请求，获取HTML内容。

import requests

# 目标网页URL
url = "http://example.com"

try:
    # 发送GET请求，设置超时时间
    response = requests.get(url, timeout=5)
    # 检查请求