WebMagic 0.7.1以后代理池方法

        使用代理时如果download错误,为spider添加的listener依旧会返回success,所以要为Downloader添加listener

        Proxy[] ips=null;

        ips = new Proxy[result.size()];
        for (int i = 0; i < result.size(); i++) {
            Vector lineof = (Vector) result.get(i);
            ips[i] = new Proxy((String) lineof.get(1), (Integer) lineof.get(2));
        }
        final HttpClientDownloaderAd httpClientDownloaderad = new HttpClientDownloaderAd(listener);
        httpClientDownloaderad.setProxyProvider(SimpleProxyProvider.from(ips));

你可能感兴趣的:(爬虫)