Heritrix架构简述

本文的目的,其实是希望通过对heritrix架构的分析,了解如何实现一个网络爬虫。


Heritrix的架构如图:

Heritrix架构简述_第1张图片

Web Administrative Console: 就是一个基于web的控制台。Heritrix内嵌了Jetty就是为了做这事。

CrawlOrder:这东西的名字有些奇怪。但其实就是一个crawl任务的配置。它是一个基于XML的object,Heritrix根据CrawlOrder中的配置,选择合适的模块来组装这次抓取任务的程序。而且,它还包括了一些很重要的信息,比如抓取任务的seeds,还有抓取url的范围,等等。

CrawlController:抓取的核心程序,它读取CrawlOrder来配置内部的模块和参数,Web Console也是和它做交互来控制爬虫。下面重点介绍Controller的内部:

Frontier:这个模块的名字也挺怪的,但它其实就是一个调度器,它内部有一个url队列,保存着需要去抓取的url。同时,从网页中提取到的url也会送给Frontier,所以,Frontier还有一个功能,对提取后的url进行去重。最后,Froniter进行调度,决定哪个url将被抓取,然后将这个url放入ToeThreads中;

ToeThreads:这组线程是真正的工作线程,它们完成url的抓取以及一系列的后续工作。整个过程又可以分为几部分:

Heritrix架构简述_第2张图片

Pre-fetch Processing: 在抓取前的一些处理;

Fetch Processing: 抓取url对应的网页;

Extractor Processing: 抽取网页中的url,分析网页的信息。这个chain是经常需要改动的,因为不同的抓取任务需求都不一样,有一些可能不需要提取图片,有一些可能需要判断网页的内容是否发生改变。这些都可以通过配置或者改写Extractor来实现;

Write/Index Processing: 将网页保存下来,或者写入某个搜索引擎;

Post Processing: 后处理;

每一个从Frontier中调度出来的url都需要经历这些步骤。所以,在爬虫的运行过程中,Frontier和这些Processing Chain构成了一个环,Frontier将需要处理的url放入Processor Chain中,从Processor Chain中提取出的新的url再被放入Frontier中:

Heritrix架构简述_第3张图片


Froniter和Processing Chains的具体交互如下图:

Heritrix架构简述_第4张图片


Reference

1. An Introduction to Heritrix

2. Heritrix developer documentation

3. Heritrix User Manual


你可能感兴趣的:(url,processing,documentation,任务,网络爬虫,reference)