Nutch保存要抓取的起始网页

在\home\apache-nutch-1.4-bin\runtime\local下新建urls新建url.txt输入如下内容: 

http://www.163.com/

http://www.baidu.com/

http://www.sina.com.cn/

http://www.renren.com/

更改\home\apache-nutch-1.4-bin\runtime\local\conf\regex-urlfilter.txt最下面：

# accept anything else

#+^http://([a-z0-9]*\.)*(.*\.)*.*/  

#+^http://([a-z0-9]*\.)*nutch.apache.org/

+^http://([a-z0-9]*\.)*renren.com/

+^http://([a-z0-9]*\.)*163.com/

+^http://([a-z0-9]*\.)*baidu.com/

+^http://([a-z0-9]*\.)*sina.com.cn/

 

如果配置了solr，就可以执行了： bin/nutch crawl urls -solr http://localhost:8983/solr/ -depth 5 -topN 100 -threads 4 >&log.txt