在Eclipse里配置Heritrix开发环境

在Eclipse中构建Heritrix

这里采用的是Heritrix 1.14.4（2010年5月10日的版本 目前来看是最新版本）

1.首先从http://sourceforge.net/projects/archive-crawler/ 中下载
heritrix-1.14.4.zip
heritrix-1.14.4-src.zip

2.在Eclipse 中创建一个java project的工程,分别对
heritrix-1.14.4.zip
heritrix-1.14.4-src.zip 进行解压。

3.将heritrix-1.14.4-src.zip解压中的src/java 中的 com、org、st三个文件夹复制到工程src下。

4.将heritrix-1.14.4-src.zip解压中src中conf文件夹复制到项目根目录。

5.将heritrix-1.14.4-src.zip解压中lib文件夹复制到项目根目录。

6.将heritrix-1.14.4-src.zip解压中src/resources/org/archive/util中tlds-alpha-by-domain.txt文件复制到工程中org.archive.util包下。

7.将heritrix-1.14.4.zip解压中webapps文件夹复制到项目根目录。
如果文件夹名称不是webapps 需要在Heritrix.java中进行相应的更改。

8.配置文件进行修改,找到conf下heritrix.properties文件打开 
将其设置成heritrix.cmdline.admin = admin:admin（此处的admin前面的是用户名，后面的是密码。注意他们之间需要使用“：”隔开）    

9.对工程进行jar包引入，将lib下面所有的jar包引入工程。
Project-> 右键-> properties-> java   build   path   ->   libraries   ->   add   external   jar

10.在工程中找到org.archive.crawler.Heritrix.java右键选运行方式配置
选择Classpath
选择User Entries -- Advanced
选择Add Folders 将conf文件夹添加进去。
点击Apply -- Run 开始运行，在console中将出现如下界面

05:54:01.359 EVENT  Starting Jetty/4.2.23
05:54:01.437 WARN!! Delete existing temp dir C:\DOCUME~1\ADMINI~1\LOCALS~1\Temp\Jetty_127_0_0_1_8080__ for WebApplicationContext[/,jar:file:/D:/Eclipse_Workspace/HeritrixProject/webapps/admin.war!/]
05:54:01.453 WARN!! Failed to delete temp dir C:\DOCUME~1\ADMINI~1\LOCALS~1\Temp\Jetty_127_0_0_1_8080__
05:54:01.671 WARN!! Can't reuse C:\DOCUME~1\ADMINI~1\LOCALS~1\Temp\Jetty_127_0_0_1_8080__, using C:\DOCUME~1\ADMINI~1\LOCALS~1\Temp\Jetty_127_0_0_1_8080___9168884174147809042
05:54:01.843 EVENT  Started WebApplicationContext[/,Heritrix Console]
05:54:01.984 WARN!! Failed to start: [email protected]:8080
Heritrix version: @VERSION@

在浏览器中输入http://localhost:8080即可看到如下界面



输入用户名和密码即可登录到Heritrix的WebUI页面





至此完成在Eclipse里配置Heritrix的开发环境并成功运行