Heritrix

关于Heritrix使用的步骤

 

 
1.关于安装：
 
      目前的版本号为1.14.3，官网地址为 http://crawler.archive.org/。常规安装，即解压到相关目录，之后配置系统环境变量"HERITRIX_HOME"到该解压目录（Java环境已经配置好）。
 
 
2.安装的后续工作：
 
      将 %HERITRIX_HOME%/heritrix-1.14.3.jar 解压到临时目录，拷贝其中的profiles目录到 %HERITRIX_HOME%/conf/目录下，用来解决Heritrix 关于的Profile默认配置的一个Bug。
 
 
3.配置管理帐户：
 
      拷贝 %HERITRIX_HOME%/conf/jmxremote.password.template 到 %HERITRIX_HOME%/下，并且重命名为"jmxremote.password"。之后编辑该文件内容关于密码的部分：
monitorRole  @PASSWORD@         monitorRole  admin
controlRole  @PASSWORD@    controlRole  admin
      修改完毕之后，保存该文件。并且需要将该文件的属性改为“只读”。然后有很重要的一步：在该文件jmxremote.password的属性窗口中查看 “安全”标签，该标签下的第一项“组或用户名称”下要确认该文件的所有权应该只隶属于你当前的系统用户，而不应该是某一个用户组（例如 Administrators），这应该是Heritrix安全机制的一个Bug。否则运行Heritrix的时候会报权限错误，需要你修改 jmxremote.password文件的属性为“只读”，但是其实已经做了该项改动。
 
 
4.运行Heritrix：
 
      CMD定位到 %HERITRIX_HOME%/bin，执行 "heritrix --admin=admin:admin" 命令，即可启动 heritrix，有一点需要注意，heritrix默认使用8080端口，要保证系统端口没有冲突，最好把改成别的端口。之后便可以访问 http://127.0.0.1:8080 使用 heritrix 提供的WUI，即Web管理端。并且使用"admin/admin"登录。
      该管理端提供了Heritrix默认提供的所有配置功能，并且可以创建一个Job并且执行该Job抓取网站。
 

本文来自CSDN博客，转载请标明出处：http://blog.csdn.net/hongxing4hao/archive/2007/07/17/1695124.aspx