Nutch 应用笔记和solr配合

阅读更多

最近要搞个数据挖掘的项目，用了开源nutch作为爬虫；一些坑记录下来；免得后续忘记。

1. 配置 regex-urlfilter.txt，配置一定要规范，行尾切记不要有特殊字符和空格。
否则nutch不给你工作，会显示0抓取记录。
2.每次抓取可以新建数据保存目录，否则 urls 里面的seed 配置不生效。依然爬去的是上一个配置。
3.和solr配合，请把conf的schema.xml 和 solr 里面的schema.xml合并。注意去重复的。有了就不要配置了。如果配置不合适，solr的core出不来。
4.solr 显示查询页面
http://localhost:8080/solr/collection1/browse
  记得把lib 里面相关的 solr-4.8.1\contrib\velocity\lib 下的jar 加入 solr.war
中。