在获取他人网站是如何增加获取信息的成功率

以前获取某个网站上的图片有的时候就不能正常获取，使用网页可以打开但就是不能抓取下来

总结一下几点可以增加java抓取网站信息的成功率，本人主要的是抓取图片用的。嘿嘿

1、设置User-Agent：在java中使用下面打开图片是最好设置一下参数

 

 

URL url = new URL(imgUrl); HttpURLConnection connection= (HttpURLConnection) url.openConnection(); 

connection.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon;)");

2、设置referer

connection.setRequestProperty("referer", 图片所在网页或者是该网站的域名);

3、设置自动重定向：

connection.setFollowRedirects(true); 

 

为了确保抓取不会定格，最好设置

 

connection.setConnectTimeout(3000);

connection.setReadTimeout(3000);

连接和读取超时，防止程序卡在这里。

 

 

 

爱美丽女性网 www.5aml.net

爱美丽女性网 美容 彩妆 发型 护肤 服饰 情感|分享生活美学,专注女性时尚