Heritrix简介以及环境搭建
一、heritrix简介
Heritrix 是一个由 java 开发的、开源的网络爬虫,用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性,方便用户实现自己的抓取逻辑。
http://sourceforge.net/projects/archive-crawler/files/archive-crawler%20(heritrix%201.x)/1.14.4/
2.把heritrix-1.14.4 解压为heritrix
3.建立bat文件,内容为:
%~d0
cd %~dp0
java -Xmx512m -Dheritrix.home=./heritrix -cp"./heritrix/heritrix-1.14.4.jar;./heritrix/lib/ant-1.6.2.jar;./heritrix/lib/bsh-2.0b4.jar;./heritrix/lib/commons-cli-1.0.jar;./heritrix/lib/commons-codec-1.3.jar;./heritrix/lib/commons-collections-3.1.jar;./heritrix/lib/commons-httpclient-3.1.jar;./heritrix/lib/commons-io-1.3.1.jar;./heritrix/lib/commons-lang-2.3.jar;./heritrix/lib/commons-logging-1.0.4.jar;./heritrix/lib/commons-net-2.0.jar;./heritrix/lib/commons-pool-1.3.jar;./heritrix/lib/dnsjava-2.0.3.jar;./heritrix/lib/fastutil-5.0.3-heritrix-subset-1.0.jar;./heritrix/lib/itext-1.2.0.jar;./heritrix/lib/jasper-compiler-tomcat-4.1.30.jar;./heritrix/lib/jasper-runtime-tomcat-4.1.30.jar;./heritrix/lib/javaswf-CVS-SNAPSHOT-1.jar;./heritrix/lib/je-3.3.82.jar;./heritrix/lib/jericho-html-2.6.jar;./heritrix/lib/jets3t-0.5.0.jar;./heritrix/lib/jetty-4.2.23.jar;./heritrix/lib/joda-time-1.6.jar;./heritrix/lib/junit-3.8.2.jar;./heritrix/lib/libidn-0.5.9.jar;./heritrix/lib/mg4j-1.0.1.jar;./heritrix/lib/poi-2.0-RC1-20031102.jar;./heritrix/lib/poi-scratchpad-2.0-RC1-20031102.jar;./heritrix/lib/servlet-tomcat-4.1.30.jar"org.archive.crawler.Heritrix
4.更改/conf/heritrix.propeties的文件,添加用户=admin:admin
5.运行,并在浏览器打开对应的端口网址,登录即可!
三、Eclipse工程环境搭建
0.新建java工厂,选jdk1.6.不是jse1.6
1、复制 com,org,st 这三个文件到工程的src目录下
2、复制lib文件,到工程的根目录下,并且添加到classpath中
3、修改java complier,把error改成warnning,解决Heritrix.java文件报错的方法。
4、复制conf文件至工程的根目录下,并且修改heritrix.properties jmxremote.password.template文件(如果heritrix.properties没有用户密码,那么将会启动不了)
5、复制webapps文件至工程的根目录
6、复制tlds-alpha-by-domain.txt至org.archive.util目录下
7、复制webappsr文件至工程目录下
*8、加载conf文件到run 中classpath里面(Run—runconfig--选择工程—addforld,没有这个的话配置model没有选项出来)
9.找到heritrix.java ---> run
四、测试操作
1.JOB(输入tmall测试数据)——>model(添加writer模块mirrorWriterr)--->setting(更改版本号,url,邮箱)-->submit
2.control-->start-->refresh
3.本地工程jobs文件夹--》mirror-》对应的网页文件。。