关于抓取网页数据超时问题

用基于httpclient的爬虫框架例如jsoup  会出现超时的问题 ,虽然超时可以用timeout设置  但是超时的时间长了也会被请求的服务器干掉。而后续没有操作 就会出现数据没查完,非常的蛋疼!!我的解决办法是用捕捉异常的方法 ,捕捉超时异常,然后再调用它本身的方法 代码如下:

public  Document getDocument (String url,Map map){

try {
Connection conn = Jsoup.connect(url);
conn.timeout(5000);
conn.data(map);
return conn.get();
} catch (SocketTimeoutException e) {

return getDocument(url, map); //递归调用 直到请求成功
} catch (IOException e) {

e.printStackTrace();
}
return null;
}

你可能感兴趣的:(http请求,爬虫)