Heritrix

作为纯Java语言开发的、功能强大的网络爬虫Heritrix，其功能极其强大，且扩展性良好，深受热爱搜索技术的盆友们的喜爱，但它配置较为复杂，且源码不好理解，最近又使劲看了下，结合自己的学习和理解，跟大家分享Heritrix的点点滴滴。

Heritrix的下载（http://sourceforge.net/projects/archive-crawler/）安装、配置，就不罗嗦了，可以自己找找资料看看哦，很丰富的。

 

1）Heritrix的Job

Heritrix的WebUI菜单栏上有“Jobs”的标签，即为Heritrix的爬取任务，可以通过4种创建方式来生成一个任务。

Based on existing job：以一个已经有的抓取任务为模板，创建所有抓取属性和抓取起始URL的列表。

Based on a recovery：在以前的某个任务中，可能设置过一些状态点，新的任务将从这个设置的状态点开始。

Based on a profile：专门为不同的任务设置了一些模板，新建的任务将按照模板来生成。

With defaults：这个最简单，表示按默认的配置来生成一个任务。

在Heritrix中，一个任务对应一个描述文件。这个描述文件的默认的名称为order.xml。每次创建一个新任务时，都相当于生成了一个order.xml的文件。order.xml中详细记录了Heritrix在运行时需要的所有信息。例如，它包括该用户所选择的Processor类、Frontier类、Fetcher类、抓取时线程的最大数量、连接超时的最大等待时间等信息。上面所说的4种创建抓取任务的方式，其实都是在生成一个order.xml文件。其中，第4种With defaults，则是直接拷贝默认的order.xml文件。

下面是通过order.xml控制爬虫的一段简单的代码，还是比较好理解的：

public static void main(String[] args) {

try {

//order.xml的路径

String crawlOrderFile = "D:\\XX\\order.xml";

CrawlStatusListener listener = null;

File file = new File(crawlOrderFile);

XMLSettingsHandler handler = new     XMLSettingsHandler(file);

        handler.initialize();

        CrawlController controller = new CrawlController();

        controller.initialize(handler);

        if (listener != null) {

            controller.addCrawlStatusListener(listener);

        }

        //这里会启动N个线程去抓取页面，而程序也会在同时往下走

        controller.requestCrawlStart();

        while ( true ) {

          if ( false == controller.isRunning() ) {

         System.out.println( "Finished crawing!" );

         break;

          }

          Thread.sleep( 1000 );

        }

        // 必须调用此方面，释放内存

        controller.requestCrawlStop();

        System.out.println( "OK!" );

} catch ( Exception e ) {

e.printStackTrace();

}

}

order.xml的细节都可以在Heritrix的WebUI中反映出来，可以装一个看看^_^

 

2）Heritrix的架构

 

抓取任务CrawlOrder：整个抓取工作的起点，在org.archive.crawler.settings包下有一个XMLSettingsHandler类，它可以用来帮助读取order.xml

public XMLSettingsHandler(File orderFile) throws InvalidAttributeValueException

在XMLSettingsHandler的构造函数中，其所传入的参数orderFile正是一个经过对象封装的order.xml的File。这样，就可以直接调用其构造函数，来创建一个XMLSettingsHandler的实例，以此做为一个读取order.xml的工具。当一个XMLSettingsHandler的实例被创建后，可以通过getOrder()方法来获取CrawlOrder的实例，可以参看上面简单的代码。

 

中央控制器CrawlController：中央控制器是一次抓取任务中的核心组件。它将决定整个抓取任务的开始和结束。CrawlController位于org.archive.crawler.framework中，CrawlController有一个不带参数的构造函数，开发者可以直接通过它的构造函数来构造一个CrawlController的实例。但是值得注意的一点，在构造一个实例并进行抓取任务时，有几个步骤需要完成：

（1）首先构造一个XMLSettingsHandler对象，将order.xml内的属性信息装入。

（2）调用CrawlController的构造函数，构造一个CrawlController的实例。

（3）调用CrawlController的intialize(SettingsHandler)方法，初始化CrawlController实例。其中，传入的参数是在第一步是构造的XMLSettingsHandler实例。

（4）当上述3步完成后，CrawlController就已经具备运行的条件，可以开始运行了。此时，只需调用它的requestCrawlStart()方法，就可以启运线程池和Frontier，然后就可以开始不断的抓取网页了。

在CrawlController的initialize()方法中，Heritrix主要做了以下几件事：

（1）从XMLSettingsHandler中取出Order。

（2）检查了用户设定的UserAgent等信息，看是否符合格式。

（3）设定了开始抓取后保存文件信息的目录结构。

（4）初始化了日志信息的记录工具。

（5）初始化了使用Berkley DB的一些工具。

（6）初始化了Scope、Frontier以及ProcessorChain。

（7）最后实例化了线程池。

 

 

Frontier链接制造工厂：在Heritrix中，Frontier是一种为线程提供链接的工具。它通过一些特定的算法来决定哪个链接将接下来被送入处理器链中，同时，它本身也负责一定的日志和状态报告功能。

Frontier中还有两个关键的方法，next()和finished()，这两个方法都是要交由抓取的线程来完成的。Next()方法的主要功能是：从等待队列中取出一个链接并返回，然后抓取线程会在它自己的run()方法中完成对这个链接的处理。而finished()方法则是在线程完成对链接的抓取和后续的一切动作后（如将链接传递经过处理器链）要执行的。它把整个处理过程中解析出的新的链接加入队列中，并且在处理完当前链接后，将之加入alreadyIncluded这个HashMap中去。

 

         处理链和Processor：Heritrix的处理器链包括以下几种：PreProcessor、Fetcher、Extractor、Writer、PostProcessor。为了很好的表示整个处理器链的逻辑结构，以及它们之间的链式调用关系，Heritrix设计了几个API来表示这种逻辑结构。

org.archive.crawler.framework.Processor

该类代表着单个的处理器，所有的处理器都是它的子类。

org.archive.crawler.framework.ProcessorChain

该类表示一个队列，里面包括了同种类型的几个Processor。例如，可以将一组的Extractor加入到同一个ProcessorChain中去。

org.archive.crawler.framework.ProcessorChainList

正常情况下，一个ProcessorChainList中，应该包括有5个ProcessorChain，分别为PreProcessor链、Fetcher链、Extractor链、Writer链和PostProcessor链，而每个链中又包含有多个的Processor。

      

3）Heritrix的多线程

         Heritrix的多线程ToeThread和ToePool，想要更有效更快速的抓取网页内容，则必须采用多线程。Heritrix中提供了一个标准的线程池ToePool，它用于管理所有的抓取线程。

ToePool和ToeThread都位于org.archive.crawler.framework包中。前面已经说过，ToePool的初始化，是在CrawlController的initialize()方法中完成的。

ToePool以及ToeThread是如何被初始化的。以下代码是在CrawlController中用于对ToePool进行初始化的。

// 构造函数

toePool = new ToePool(this);

// 按order.xml中的配置，实例化并启动线程

toePool.setSize(order.getMaxToes());

ToePool的构造函数很简单，如下所示：

public ToePool(CrawlController c) {

    super("ToeThreads");

    this.controller = c;

}

它仅仅是调用了父类java.lang.ThreadGroup的构造函数，同时，将注入的CrawlController赋给类变量。这样，便建立起了一个线程池的实例了,当线程被启动后，所执行的是其run()方法中的片段。

 

4）Heritrix的扩展

向Heritrix中添加自己的Extractor：Heritrix所提供的大众化的Extractor只能够将所有信息全部抓取下来。在这种情况下，就无法控制Heritrix到底该抓哪些内容，不该抓哪些内容，进而造成镜象信息太复杂，不好建立索引。

编写过滤器扩展Extractor时要做的几件事：

（1）写一个类，继承Extractor的基类。

（2）在构造函数中，调用父类的构造函数，以形成完整的家族对象。

（3）继承extract(curi)方法。

public class MyExtractor extends Extractor {

// 构造函数

public MyExtractor(String name) {

this(name, "Sohu News Extractor");

}

// 构造函数

public MyExtractor(String name, String description) {

super(name, description);

}

// 第一个正则式，用于匹配SOHU新闻的格式

public static final String PATTERN_URLS ="<a href=\"http://127.0.0.1:8080/*\">";

// 第二个正则式，用于匹配所有的<a href="xxx">

public static final String PATTERN_A_HREF = "<a href=\"*\">";

// 继承的方法

protected void extract(CrawlURI curi) {

    //编写自己的代码控制逻辑

}

}

扩展FrontierScheduler来抓取特定的内容：FrontierScheduler是一个PostProcessor，它的作用是将在Extractor中所分析得出的链接加入到Frontier中，以待继续处理。

比如，要去除所有的扩展名为.zip、.exe、.rar、.pdf和.doc的链接（其实也就是不想下载这类文件）。可以通过继承FrontierScheduler，并重写内部的schedule方法来达到我们的需要。以下是一个示例。

protected void schedule(CandidateURI caUri) {

    String url = caUri.toString();

    if (url.endsWith(".zip") 

         || url.endsWith(".rar")

         || url.endsWith(".exe")

         || url.endsWith(".pdf")

         || url.endsWith(".doc")

         || url.endsWith(".xls")) {

        return;

    }

    getController().getFrontier().schedule(caUri);

}

这样，每当Heritrix在执行任务时，遇到这样的文件，就会跳过抓取，从而达到了对URL链接进行筛选的目的。

以上均为学习总结，希望能和对爬虫感兴趣的童鞋共同探讨Heritrix

<!--EndFragment-->