Nutch1.8分布式抓取网页
用了大概一周左右的时间，研究了下nutch1.8，并在linux集群上部署了执行文件，总结下部署过程中遇到的一些问题。
环境准备：
1、配置hadoop，确保hadoop运行正常。
2、将hadoop/conf目录中的配置文件拷贝到nutch/conf中，使nutch绑定hadoop。
程序准备：
1、下载nutch1.8源码后，安装ant，进行编译；
2、将nutch1.8拷贝到其他集群机器中采用保证存放目录结构相同；
3 、运行集群脚本,视情况而定。
nutch源码编译后生成runtime目录，其下有deploy和local两个子目录。
deploy：用于分布式抓取
local：用于本地抓取
$NUTCH_HOME/conf 为抓取所用配置文件,用于单机抓取原始配置就够了，用于分布式抓取的话，需要拷贝HADOOP_HOME目录conf下的core-site.xml、hdfs-site,xml、mapred-site.xml文件，使nutch绑定hadoop。
$NUTCH_HOME/runtime/deply/bin/crawl 分布式抓取命令：
usage：crawl <seedDir> <crawlDir> <solrURL> <numberOfRounds>
$NUTCH_HOME/runtime/deply/bin/crawl hdfs://topsecurl62:9000/user/local/urls hdfs://topsecurl62:9000/user/local/crawl_0603 null 2
$NUTCH_HOME/runtime/local/bin/crawl 本地抓取命令
$NUTCH_HOME/runtime/local/bin/crawl urls crawls ull 2
另外，修改了$NUTCH_HOME/conf下的配置文件，需要重新编译之后才能生效。
特别注意上面这一条，我在使用时就fail了，重新用ant编译后才成功。
总结：
（1）deploy中只需要bin和*.job文件就可以集群运行。所以配置都针对*.job中的各项文件、路径，以上配置经过多次测试确认，以供参考。
（2）分布式爬取各个步骤无法有效监控，单点爬取是测试验证程序的一个办法。
（3）单点爬取只是将deploy中的*.job文件进行了分别的维护，包括bin、conf、lib、log、plugins。只需将项目对应目录中的文件拷贝到单点环境即可。拷贝完后执行 bin/nutch ******* 。如果爬取失败，则可以根据log中的日志跟踪来进行处理。一般情况下先检查各目录中的文件是否同步完毕，特别是lib中的*.jar文件是不是全部引入等等。