如何使用异常处理机制捕获和处理请求失败的情况

在爬虫开发中，我们经常会遇到请求失败的情况，比如网络超时、连接错误、服务器拒绝等。这些情况会导致我们无法获取目标网页的内容，从而影响爬虫的效果和效率。为了解决这个问题，我们需要使用异常处理机制来捕获和处理请求失败的情况，从而提高爬虫的稳定性和稳定性。

异常处理机制的特点

异常处理机制是一种编程技术，用于在程序运行过程中发生异常时，能够及时捕获并处理异常，从而避免程序崩溃或者出现不可预期的结果。异常处理机制有以下几个特点：

• 可以预先定义可能发生的异常类型，并为每种异常类型指定相应的处理方法。
• 可以使用 try-except 语句来执行可能发生异常的代码，并在 except 子句中捕获并处理异常。
• 可以使用 raise 语句来主动抛出异常，并在上层调用处捕获并处理异常。
• 可以使用 finally 语句来执行无论是否发生异常都要执行的代码，比如关闭文件或者释放资源。

异常处理机制的案例

为了演示如何使用异常处理机制来捕获和处理请求失败的情况，我们将使用 requests 库来发送 HTTP 请求，并使用异步技术来提高爬虫的速度。同时，我们将使用亿牛云代理服务器来隐藏我们的真实 IP 地址和位置信息，以防止被目标网站封禁或者限制。

首先，我们需要导入 requests 库和 asyncio 库，并定义一个异步函数 send_request 来发送 HTTP 请求。在这个函数中，我们需要使用 try-except 语句来执行可能发生异常的代码，并在 except 子句中捕获并处理 requests.exceptions.RequestException 异常，这是 requests 库中最基本的异常类型，包含了所有与请求相关的异常。如果发生了这种异常，我们可以打印出异常信息，并返回 None 表示请求失败。如果没有发生异常，我们可以返回响应对象 response 表示请求成功。

import requests
import asyncio

# 定义一个异步函数 send_request 来发送 HTTP 请求
async def send_request(url):
    # 使用 try-except 语句来执行可能发生异常的代码
    try:
        # 使用 requests 库发送 GET 请求，并设置超时时间为 10 秒
        response = requests.get(url, timeout=10)
        # 返回响应对象 response 表示请求成功
        return response
    # 在 except 子句中捕获并处理 requests.exceptions.RequestException 异常
    except requests.exceptions.RequestException as e:
        # 打印出异常信息
        print(e)
        # 返回 None 表示请求失败
        return None

接下来，我们需要定义一个异步函数 get_proxy 来获取代理服务器的信息，并返回一个代理字典 proxy。在这个函数中，我们需要使用 requests 库的 auth 模块来生成一个 HTTPBasicAuth 对象，用于验证我们的代理账号和密码。然后，我们需要使用 requests 库的 get 方法来发送 GET 请求，并将 auth 参数设置为我们的 HTTPBasicAuth 对象，从而获取代理服务器的信息。如果请求成功，我们可以从响应对象 response 中提取代理服务器的 IP 地址和端口号，并构造一个代理字典 proxy，其中包含了 http 和 https 协议对应的代理地址。如果请求失败，我们可以返回 None 表示获取代理失败。

import requests
import asyncio

# 定义一个异步函数 get_proxy 来获取代理服务器的信息，并返回一个代理字典 proxy
async def get_proxy():
    # 亿牛云 爬虫加强版 代理服务器
    proxyHost = "www.16yun.cn"
    proxyPort = "3111"
    # 代理验证信息
    proxyUser = "16YUN"
    proxyPass = "16IP"
    # 使用 requests 库的 auth 模块来生成一个 HTTPBasicAuth 对象，用于验证我们的代理账号和密码
    auth = requests.auth.HTTPBasicAuth(proxyUser, proxyPass)
    # 使用 requests 库的 get 方法来发送 GET 请求，并将 auth 参数设置为我们的 HTTPBasicAuth 对象，从而获取代理服务器的信息
    response = requests.get("http://www.16yun.cn/api/ip", auth=auth)
    # 如果请求成功
    if response.status_code == 200:
        # 从响应对象 response 中提取代理服务器的 IP 地址和端口号
        ip = response.json()["data"][0]["ip"]
        port = response.json()["data"][0]["port"]
        # 构造一个代理字典 proxy，其中包含了 http 和 https 协议对应的代理地址
        proxy = {
            "http": f"http://{ip}:{port}",
            "https": f"https://{ip}:{port}"
        }
        # 返回代理字典 proxy 表示获取代理成功
        return proxy
    # 如果请求失败
    else:
        # 返回 None 表示获取代理失败
        return None

最后，我们需要定义一个异步函数 main 来执行主程序。在这个函数中，我们需要使用 asyncio 库的 gather 方法来创建一个任务列表 tasks，其中包含了多个 send_request 函数的调用，每个调用都传入一个目标网站的 URL。然后，我们需要使用 asyncio 库的 run 方法来运行这个任务列表，并等待所有任务完成。如果任务完成，我们可以遍历返回的结果列表 results，并打印出每个结果的状态码和内容长度。如果任务失败，我们可以打印出 None 表示请求失败。

import requests
import asyncio

# 定义一个异步函数 main 来执行主程序
async def main():
    # 使用 asyncio 库的 gather 方法来创建一个任务列表 tasks，其中包含了多个 send_request 函数的调用，每个调用都传入一个目标网站的 URL
    tasks = [
        send_request("https://www.baidu.com"),
        send_request("https://www.google.com"),
        send_request("https://www.bing.com")
    ]
    # 使用 asyncio 库的 run 方法来运行这个任务列表，并等待所有任务完成
    results = await asyncio.gather(*tasks)
    # 遍历返回的结果列表 results
    for result in results:
        # 如果结果不是 None 表示请求成功
        if result is not None:
            # 打印出结果的状态码和内容长度
            print(result.status_code, len(result.content))
        # 如果结果是 None 表示请求失败
        else:
            # 打印出 None 表示请求失败
            print(None)

# 调用 main 函数来执行主程序
asyncio.run(main())

结语

通过上面的介绍和案例，我们可以看到，使用异常处理机制来捕获和处理请求失败的情况，可以有效地提高爬虫的稳定性和稳定性，从而避免程序崩溃或者出现不可预期的结果。同时，使用异步技术和代理服务器，可以进一步提高爬虫的速度和效率，从而爬取更多的目标网页。