python抓取超时_05-访问超时设置 | 01.数据抓取 | Python

05-访问超时设置

郑昀 201005 隶属于《01.数据抓取》小节

设置 HTTP 或 Socket 访问超时，来防止爬虫抓取某个页面时间过长。

pycurl 库的调用中，可以设置超时时间：

c.setopt(pycurl.CONNECTTIMEOUT, 60)

在 Python 2.6 版本下，httplib 库由于有如下构造函数：

class HTTPConnection:

def __init__(self, host, port=None, strict=None,

timeout=socket._GLOBAL_DEFAULT_TIMEOUT):

self.timeout = timeout

所以可以设置：>>> h3 = httplib.HTTPConnection('www.cwi.nl', 80, timeout=10)

如果通过 HTTPConnection 或 HTTPSConnection 的构造函数给定超时时间，那么阻塞操作(如试图建立连接)将会超时。如果没有给或者赋值 None ，那么它将使用全局的超时时间设置。

Python 2.5 下，因为 HTTPConnection 类的 __init__ 函数没有 timeout 参数，所以通过一个隐藏很深的函数：

httplib.socket.setdefaulttimeout(3)#输入参数单位貌似是分钟

来设置超时。

设置全局超时

最后，抓取时如果实在找不到什么函数能设置超时时间，那么可以设置全局的 socket 超时，虽然这样做不大合适：