webmagic scheduler源码分析

webmagic scheduler源码分析

项目中使用webmagic作为爬虫爬取框架，需要实现2个功能：

• 对于一些未爬取到的URL，需要做重试机制，重复爬取，设置爬取次数，直至爬取到网页内容或者达到重试次数。
• 用户点击停止，则停止对剩余URL的爬取。

这二个功能的添加都是对scheduler模块进行改造，webmagic的scheduler模块负责管理待抓取的URL，以及一些去重的工作。WebMagic默认提供了JDK的内存队列来管理URL，并用集合来进行去重。此为实现的前提。

重试

由于使用过的是webmagic框架，框架中的pageprocessor模块自带方法page.addTargetRequest()来将URL添加到队列尾，前期在使用时，直接将未爬取成功的URL添加进去，发现程序并未对该URL进行重试，研究源码后，发现他的实现是：

@Override
    public void push(Request request, Task task) {
        logger.trace("get a candidate url {}", request.getUrl());
        if (shouldReserved(request) || noNeedToRemoveDuplicate(request) || !duplicatedRemover.isDuplicate(request, task)) {
            logger.debug("push to queue {}", request.getUrl());
            pushWhenNoDuplicate(request, task);
        }
    }

在往队列中push元素时，会进行一次队列中是否有重复数据的判断，若有重复数据便不添加到队列中，因此，我们重写了scheduler：

/**
     * (shouldReserved(request) || noNeedToRemoveDuplicate(request) || !duplicatedRemover.isDuplicate(request, task))
     * 忽略掉去重方法，认为去重总是返回true,
     *
     * @param request
     * @param task
     */
    @Override
    public void push(Request request, Task task) {
        logger.debug("push to queue {}", request.getUrl());
        pushWhenNoDuplicate(request, task);
    }

修改后，程序通过page.addTargetRequest()方法，设置爬取次数，进行重试爬取。

停止

既然基于webmagic框架，则考虑对框架内使用的方法进行二次开发，原以为调用page.getTargetRequests().clear()方法，将所有剩余的request队列清空，即可达到停止的目的，后在项目上线后，运行几天，发现出现用户点击停止仍旧爬取的情况。

前面提到，scheduler模块使用JDK内存队列管理URL。经过研究webmagic源码发现，程序在爬取下一个URL的时候，是从scheduler队列中直接push一个元素出来，而我的操作并没有对scheduler进行修改。所以重写了一下scheduler，添加一个方法：

/**
     * add a url to fetch
     *
     * @param request request
     * @param task task
     */
    public void push(Request request, Task task);

    /**
     * get an url to crawl
     *
     * @param task the task of spider
     * @return the url to crawl
     */
    public Request poll(Task task);
    /**
     * clear方法添加
     */
    public void clear();

之后在Spider（WebMagic操作的入口）启动时，前一个URL爬取成功进行Pipeline操作时，调用scheduler的clear方法，进行清空操作：

private void onDownloadSuccess(Request request, Page page) {
        if (site.getAcceptStatCode().contains(page.getStatusCode())) {
            pageProcessor.process(page);
//            如果targetRequest队列清空了，则清空scheduler里面的queue
            if (page.getResultItems().isSkip()) {
                scheduler.clear();
                exitWhenComplete = true;
            }
            extractAndAddRequests(page, spawnUrl);
            if (!page.getResultItems().isSkip()) {
                for (Pipeline pipeline : pipelines) {
                    pipeline.process(page.getResultItems(), this);
                }
            }
        } else {
            logger.info("page status code error, page {} , code: {}", request.getUrl(), page.getStatusCode());
        }
        sleep(site.getSleepTime());
        return;
    }

在Spider启动类的方法里面添加一个判断，其余不做修改，即可达到目的。