《Python网络爬虫》1.2 爬取网页的异常处理

By 一页编程

---

下面我们介绍爬取网页的一般套路，或者说是流程。什么是一般套路呢？其实通用的一组代码，它可以准确的可靠的爬取网页上的内容。

我们在用requests库进行网页访问的时候，经常用get函数，比如：

requests.get(url)

但是这样的语句并不是一定成立的，因为网络连接有风险，所以这样的语句，它的异常处理很重要。

连接异常

Requests库支持6种常用的连接异常。

异常	说明
ConnectionError	网络连接出现了错误
HttpError	在HTTP协议层面出现的错误异常
URLRequired	URL缺失造成的异常
TooManyRedirects	超过了最大重定向次数时产生的异常
ConnectionTimeout	与服务器连接超过一个预定时间而产生的异常
Timeout	发起URL请求到获得URL请求内容过程中，超过了预定时间产生的异常

• ConnectionError表示的是，在用requests库进行访问的时候，如果网络连接出现了错误，就会抛出这样的异常。比如我们在对url做dns查询的时候，如果查询失败或者服务器的防火墙，拒绝连接，那么requests库就会抛出这样的异常。
• HttpError，指的是在http协议层面出现的错误异常。
• URLRequired异常,指的是我们在对url访问的时候，这个url缺失造成的异常。
• TooManyRedirects异常，指的是当用户访问的url进行重定向，而重定向的次数，超过了requests库要求的最大重定向次数时产生的异常。这个经常指我们对一些复杂的链接进行访问的时候，会出现的错误。
• ConnectionTimeout异常,指的是在访问远程服务器的时候，由于与服务器连接超过一个预定时间而产生的异常。
• Timeout异常指的是，发起url请求到获得url请求内容过程中，超过了约定时间产生的异常

ConnectionTimeout跟Timeout两个异常之间是有一定的区别的，Timeout是指发出url请求到获得内容整个过程的超时异常。而ConnectionTimeout仅指与远程服务器连接过程产生的超时异常。

raise_for_status()方法

理解Response类非常重要，Response这样的一个对象返回了所有的网页内容，那么它也提供了一个方法，叫raise_for_status()，这个方法是专门与异常打交道的方法，该方法有这样一个有趣的功能，它能够判断返回的Response类型状态是不是200。如果是200，他将表示返回的内容是正确的，如果不是200，他就会产生一个HttpError的异常。
那这个方法有什么用呢？
那我们来看一下我们的通用代码框架：

>>> def getHTMLText(url):
    try:
        r = requests.get(url, timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"

这个代码中我们用r.raise_for_status()方法，它就可以有效的判断网络连接的状态。如果网连接出现错误，那么它就会用try-except来获取一个异常。而这个异常，在异常部分，我们用了一句 return “产生异常” 来表示，我们捕获到了这个异常，所以这样一个通用代码框架可以有效的处理，我们在访问或爬取网页过程中，它可能出现的一些错误，或者是网络不稳定造成的一些现象。