nutch 配置文件详解
下面来分析 一下，conf目录下各文件的作用是怎样的：
crawl-urlfiter.txt ：此文件名在crawl-tool.xml中配置，属于crawl命令专有的配置，即分布式抓取 时不起作用。
regex-urlfilter.xml ：此文件在分布式抓取时将代替crawl-filter.txt，see nutch-defulat.xml
--上述解析类见RegexURLFilter--
其中加载顺序为： nutch-default.xml->crawl-tool.xml->nutch-site.xml
automaton-urlfilter.txt：有限状态机处理，Finite-state automaton
prefix-urlfilter.txt & suffix-urlfilter.txt ：对url进行前缀或后缀的过滤，使用nutch 中的trie tree 算法简介 处理
由于在regex-urlfilter.txt已经有过滤，而这二个是比它添加了更加多的过滤条件而已，所以可以将二个添加到plugin.includes中。
common-terms.utf8：作为n-gram索引时的common terms，即独立的token。应用于NutchDocumentAnalyzer#ContentAnalyzer.(我已经修改为highlight时才使用）
custom-fields.xml：当使用CustomFieldQueryFilter时定制的index处理机制。
domain-suffixes.xml：域名配置，由DomainSuffixes.java使用，供Generator中进行host/domain/ partition。
domain-urlfilter.txt：类urlfilter,就是进行域名过滤。利用这一点，可以进行特定站点的抓取，如只抓取com.
内容可以是ip,域名，二级域名（subbfix)，hostname；used in DomainURLFilter
httpclient-auth.xml：当使用http client plugin时的配置文件。就是如果要使用到https来抓取或代理服务器来抓取时，可以使用这个plugin。
parse-plugins.xml ：之前已经介绍过，即解析各种文件时的影射plugins配置。
regex-normalize.xml ：用于将url进行norm，即url 替换。如去掉";jsessionid=x"，去掉重复&&等。used by RegexURLNormalizer.
--- solr index/search related files（我没有使用solr来索引）
schema.xml：solr的index配置文件；
solrindex-mapping.xml：nutch中的index filed对solr的映射
----
tika-mimetypes.xml ：tika mime type映射文件，比如根据url获取对应的content type .used by MimeUtil
subcollections.xml:对索引进分集（添加doc field以示区别),支持白名单／黑名单。比如，我想统计.com域名的page数，但我要过滤掉部分.com的urls，而且要匹配xx.com域名的urls.可以说，它提供了粒度很细的过滤统计功能。
-－下面是运行的文件－－
nutch-xx.jar：nutch core包；
nutch-xx.job：将nutch作crawl或search service时完整包；除了里面没有hadoop包外，其它的与nutch-xx/lib下的包一样。有点怪：）
nutch-xx.war：布署包，与job包类似，已经包含jar所有类及配置，和hadoop包。
具体这些包问题可以在相应的build.xml中配置
－－－－
以上红色部分是较重要的files.