nutch中文分词（修改源码的方式）
1、需要的jar包
je-analysis-1.5.3.jar javacc工具 ant
2、部署nutch工程到eclipse中，这一步网上有很多的参考。
3、nutch工程部署好后直接修改org.apache.nutch.analysis包下面的NutchDocumentAnalyzer.java的 tokenStream方法 即将以下代码
/** Returns a new token stream for text from the named field. */
public TokenStream tokenStream(String fieldName, Reader reader) {
Analyzer analyzer;
if ("anchor".equals(fieldName))
analyzer = ANCHOR_ANALYZER;
else
analyzer = CONTENT_ANALYZER;
return analyzer.tokenStream(fieldName, reader);
}
替换成
public TokenStream tokenStream(String fieldName, Reader reader) {
Analyzer analyzer;
analyzer= new MMAnalyzer();//需要导入je-analysis包
return analyzer.tokenStream(fieldName, reader);
}
4、在org.apache.nutch.analysis包下类文件NutchAnalysis.jj中
将<SIGRAM: <CJK> >替换为 <SIGRAM: (<CJK>)+ >
然后将这个文件拷贝到一个空目录下，使用javacc进行编译，编译后生成7个java文件，将这7个java文件覆盖org.apache.nutch.analysis包下的文件。此时会有一个异常，只需要在ParseException.java中将Exception改为IOException
5、修改工程目录下的build.xml文件
<lib> ........ ....... .......... <include name="je-analysis-*.jar"/> <!--添加这句--> </lib>
7、使用ant编译工程文件
输入ant (将在工程目录下的build目录下输出nutch.job文件) 输入ant war (将在工程目录下的build目录下输出nutch.war文件) 输入ant jar (将在工程目录下的build目录下输出nutch.jar文件)
将输出的三个文件拷贝到工程根目录下，覆盖原有的三个文件
8、测试
运行org.apche.nutch.crawl中的Crawl类进行爬虫，当然也可以通过命令的方式进行爬虫
在tomcat下部署第七步生成的nutch.war文件，配置好nutch-site.xml文件后.
<property>
<name>searcher.dir</name>
<value>存放爬虫结果的目录</value>
</property>
在浏览器中输入http://localhost:8080/nutch-1.0 ，回车后查看结果！