lucene-同义词分析器
这个分析器用SynonymFilter过滤器对StandardAnalyzer类进行封装,当向这个过滤器输入各个项时,会对这些项进行缓冲,并使用栈存储这些项的同义词
public class SynonymFilter extends TokenFilter{
publicstatic final String TOKEN_TYPE_SYNONYM="SYNONYM";
privateStack synonymStack;
privateSynonynEngine engine;
publicSynonymFilter(TokenStream in,SynonymEngine engine){
super(in);
synonymStack=new Stack();//缓存同义词
this.engine=engine;
}
publicTOken next() throws IOException{
if (synonymStack.size()>0){//如何还有当前词的同义词没有输出,则输出
return (Token) synonymStack.pop();
}
Token token=input.next();//读取新词
if (token==null) {
return null;
}
addAliasesToStack(token);//存储新词的同义词
returntoken;
}
private voidaddAliasesToStack(Token token) throws IOException{
String[] synonyms=engine.getSynonyms(token.termText());
if (synonyms==mull) return;
for (int i=0;i<synonyms.length;i++){
Token synToken=newToken(synonyms[i],token.startOffset(),token.endOffset(),TOKEN_TYPE_SYNONYM);
synToken.setPositionIncrement(0);
synonymStack.push(synToken);
}
}
以下这个接口是关键,可以自由实现,目的是返回s的同义词数组
public interface SynonymEngine{
String[] getSynonyms(String s) throws IOException;
}
对于这个接口要小心使用,在查询时不必列出所有的同义词,如下例
Query query=QueryParser.parse("\"foxjumps\"","content",synonymAnalyzer);
Hits hits=searcher.search(query);
是会出错的,找不到任何结果,因为QueryParser不会区别位置增量,所以位置增量为0这一个表明同义的特征无法体现,会将"foxjumps"直接加上同义词解释为"fox jumps hops leaps"