关于爬虫爬取图片被防盗链的解决

由于一些不可描述的原因,在使用jsoup爬取图片时被防盗链了。
解决办法是

URL url = new URL("");
        // 获得连接
        URLConnection connection = url.openConnection();
        connection.setRequestProperty("Referer", "http://www.xxx.com");

因为一些网站在解决盗链问题时是根据Referer的值来判断的,所以在请求头上添加Referer属性就好(可以填爬取网站的地址)。

另外Referer携带的数据 是用来告诉服务器当前请求是从哪个页面请求过来的。

你可能感兴趣的:(经验)