paip.禁用IKAnalyzer 的默认词库.仅仅使用自定义词库.

paip.禁用IKAnalyzer 的默认词库.仅仅使用自定义词库.


作者Attilax  艾龙，  EMAIL:[email protected] 
来源：attilax的专栏
地址：http://blog.csdn.net/attilax


ver:2012
IKAnalyzer 的默认词库的匹配度可能不好..可以使用扩展词库...


但是,更好的办法是,禁用IKAnalyzer 的默认词库.仅仅使用自定义词库.


需要实现Configuration接口,实现getMainDictionary以及getQuantifierDicionary俩个方法..都返回空的走ok兰..


Configuration cfg = new mycfg();
 // 加载词库
cfg.setUseSmart(true); // 设置智能分词
Dictionary.initial(cfg);


Dictionary dictionary = Dictionary.getSingleton();
 
List<String>  = ftc.getListFromFile(wordLibs);
 
 
dictionary.addWords(ext); // 自动添加自定义词



// 创建分词对象 isMaxWordLength
Analyzer anal = new IKAnalyzer(true);//true也标示最大词长
StringReader reader = new StringReader(text);
// 分词
TokenStream ts = anal.tokenStream("", reader);
 
 
CharTermAttribute term = ts.getAttribute(CharTermAttribute.class);
// 遍历分词数据
String rc0 = "";
while (ts.incrementToken()) {
// System.out.print(term.toString() + "     ");
rc0 = rc0 + term.toString() + "|";
}