IKAnalyzer中文分词器

目前比较好的的分词器有IKAnalyzer、Paoding，都是开源的，在Google code里面可以免费下载。
    我最近也在学习IKAnalyzer中文分词器。在下载的使用文档中也有比较详细的说明（开源项目 ：下载地址是： http://code.google.com/p/ik-analyzeranalyzer ）。在eclipse中导入分词器，这里要注意的是一个版本兼容性问题，IKAnalyzer2012兼容的是Lucene3.1以上的版本，由于我的eclipse中的Lucene的版本是3.0的，因此还要更新eclipse中的Lucene。但是也可以不更新，因为在IKAnalyzer2012中分词器有两个：一个是IKAnalyzer，另外一个是IKSegmenter。前者继承Lucene，而后者是可以独立。我也在网上找了一些中文分词的代码，看了之后还是觉得下边这个代码不错：
import java.io.*;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.wltea.analyzer.core.IKSegmenter;
import org.wltea.analyzer.core.Lexeme;
import org.wltea.analyzer.lucene.IKAnalyzer;
 
public class IKAnalyzerTest {
public static String str="IK Analyzer是一个开源的，基于java语言" +
"开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始， " +
"IKAnalyzer已经推出了4个大版本。最初，它是以开源项目Luence为" +
"应用主体的，结合词典分词和文法分析算法的中文分词组件。从3.0版" +
"本开始，IK发展为面向Java的公用分词组件，独立于Lucene项目，同时" +
"提供了对Lucene的默认优化实现。";
public static void main(String args[]) throws IOException {
 
//基于Lucene实现
Analyzer analyzer = new IKAnalyzer(true);//true智能切分
StringReader reader = new StringReader(str);
TokenStream ts = analyzer.tokenStream("", reader);
CharTermAttribute term = ts.getAttribute(CharTermAttribute.class);
while(ts.incrementToken()){
System.out.print(term.toString()+"|");
}
reader.close();
System.out.println();
 
//独立Lucene实现
StringReader re = new StringReader(str);
IKSegmenter ik = new IKSegmenter(re,true);
Lexeme lex = null;
while((lex=ik.next())!=null){
System.out.print(lex.getLexemeText()+"|");
}
}
}
运行的结果如下：
ik|analyzer|开源|基于|java|语言|开发|轻量级|中文|分词|工具包|2006年|12月|推出|1.0版|开始|ikanalyzer|已经|推|4个|大|版本|
ik|analyzer|开源|基于|java|语言|开发|轻量级|中文|分词|工具包|2006年|12月|推出|1.0版|开始|ikanalyzer|已经|推|4个|大|版本|
    以上是学习中文分词器的第一次试验。