Java网络爬虫实操（8）

上一篇：Java网络爬虫实操（7）

大家好，本篇文章介绍一下NetDiscovery爬虫框架里的downloader对象

1) 前言

面向对象设计仍然是目前编程的核心思想，从下面截图可以了解爬虫框架的主要对象：

程序在本地组织好一个request后，交给downloader从网络上抓取数据到本地，然后由parser处理本地的这些数据，最终生成可用的信息。

2) downloader介绍

downloader我们也称为下载器，主要功能就是访问网络并成功抓回我们要的数据：例如html网页、json/xml数据、二进制流（图片、office文档等） 目前NetDiscovery支持的downloader实现有：

面向接口编程是这个框架的重要设计思想之一。

以下介绍部分downloader代码，这些代码的共同点是实现了Downloader接口。

作为程序开发者，你也可以实现接口com.cv4j.netdiscovery.core.downloader.Downloader，创建自己的下载器类。

• UrlConnectionDownloader 这个用的是jdk自带的包，java.io、java.net

//1、构建一个URL对象
url = new URL(request.getUrl());
//2、获取一个HttpURLConnection对象
conn = url.openConnection();
//3、一堆设置
conn .setDoOutput(true);
conn .setDoInput(true);
conn .setRequestMethod("POST");
......
//4、访问网络服务
conn.connect();
//5、执行成功的话，获取结果
conn.getResponseCode();
conn.getInputStream();
复制代码

• HttpClientDownloader 这个是用开源包apache httpclient实现的，代码就更加简洁优雅了。

//1、获取一个HttpManager对象(框架自己封装的)
HttpManager httpManager = HttpManager.get();
//2、然后把request扔进去，等结果就可以了.request也是框架封装的
httpManager.getResponse(request)
//3、等来结果后，进行处理
            @Override
            public Response apply(CloseableHttpResponse closeableHttpResponse) throws Exception {
                String charset = null;
                if (Preconditions.isNotBlank(request.getCharset())) {
                    charset = request.getCharset();  //针对一些还是GB2312编码的网页
                } else {
                    charset = "UTF-8";
                }
                String html = EntityUtils.toString(closeableHttpResponse.getEntity(), charset);
                Response response = new Response();
                response.setContent(html.getBytes());
                response.setStatusCode(closeableHttpResponse.getStatusLine().getStatusCode());
                if (closeableHttpResponse.containsHeader("Content-Type")) {
                    response.setContentType(closeableHttpResponse.getFirstHeader("Content-Type").getValue());
                }

                return response;
            }
复制代码

• VertxDownloader等类大家有需要都可以去了解一下。

3) 总结

总之，爬虫程序本质上是一个网络程序，网络程序的核心模块离不开对网络数据的处理。建议学习爬虫的伙伴们，要看源代码的话，可以先从框架中的downloader相关代码开始了解。相信一定会有收获的。

下一篇：Java网络爬虫实操（9）