Nutch1.7学习笔记1:基本环境搭建及使用
作者:雨水,时间:2013-10-31博客地址:http://blog.csdn.net/gobitan
说明:Nutch有两个主版本1.x和2.x,它们的主要区别是2.x引入了Gora作为存储抽象层,从而支持各种NoSQL数据库,如HBase,Cassandra等。本文是以1.x的最新版Nutch1.7 (发布于2013年6月25日)为例。
环境准备:
安装配置Nutch:
将apache-solr-3.6.2.zip解压,然后执行如下命令:
$mv apache-nutch-1.7nutch
$cd nutch
$bin/nutch
上面两行命令是进入解压后的目录,然后执行nutch命令。如果出现” Usage: nutch COMMAND”的帮助提示,则表明安装成功。如果有问题,可以检查看bin/nutch是否有可执行权限,如果没有可执行”chmod +x bin/nutch”命令添加可执行权限然后再尝试”bin/nutch”。
2. 配置JAVA_HOME环境变量
执行” echo $JAVA_HOME”如果返回空,则表明该变量未设置。需执行如下命令:
$cd
$vi .bashrc
然后将如下文本加入到.bashrc的末尾,注意:需将JAVA_HOME的值替换为你的Javajdk的路径。如果没有安装JDK,建议安装OracleJDK.
export JAVA_HOME=/home/dennis/jdk1.6.0_37
然后执行如下命令刷新当前的环境变量:
$. .bashrc
3. 配置Nutch
(1)配置conf/nutch-default.xml
$cd nutch
$ vi conf/nutch-default.xml
将http.agent.name属性的值改为如下:
(2) 创建urls相关配置:
$ mkdir urls
$cd urls
$ touch seed.txt
然后将你希望爬的网址放入seed.txt中,这里以” http://nutch.apache.org”为例。
(3) 编辑conf/regex-urlfilter.txt将原有的
# accept anything else
+.
替换为你以正则表达式匹配的你希望爬的地址。例如:
+^http://([a-z0-9]*\.)*nutch.apache.org/
这是用正则表达式来限制爬虫的范围仅限于nutch.apache.org这个域。
运行Nutch:
$bin/nutch crawl urls -dir crawl -depth 3 -topN5
运行上述命令执行爬虫。
与Solr集成:
1. 安装:将apache-solr-3.6.2.zip解压,然后执行如下命令:
$mv apache-solr-3.6.2 solr
$cd solr/example
$ java -jar start.jar
2. 验证:分别访问如下两个链接,需都能正常访问才可。
http://localhost:8983/solr/admin/
http://localhost:8983/solr/admin/stats.jsp
3. 与Nutch集成:
(1) 拷贝schema.xml配置文件
将nutch/conf/schema-solr.xml拷贝至solr/example/solr/conf/下,并重命名为schema.xml(覆盖原有的)。
(2) 执行”java -jar start.jar”重启Solr,需先进入solr/example目录。
(3) 执行Solr索引命令,如下:
bin/nutch solrindex http://127.0.0.1:8983/solr/crawl/crawldb -linkdb crawl/linkdb crawl/segments/*
注意:执行时需先进入nutch目录。
(4) 访问http://192.168.128.129:8983/solr/admin/测试,可以在Query String中输入” GettingStarted”进行查询,可以得到两个结果。
还可以集成中文分词,以便更好地支持中文。
集成中文分词相关配置如下:
schema.xml
solrconfig.xml
同时需下载对应的jar包放至相应的目录。
参考资料:
1. http://wiki.apache.org/nutch/NutchTutorial