改写IKAnalyzer分词器

ik4solr4.3

solr4.3的ik分词器([https://github.com/lgnlgn/ik4solr4.3] 主要改动不是我完成的,只是指点。使用maven)

  • 支持从solr自己的环境中获取自定义词典(使用solr的ResourceLoader, 只需要把字典文件放到conf目录里)

  • 增加一个定时更新的停用词、同义词工厂类

============我是分割线====以下是详细说明================

[html]  view plain copy
  1. 6.1新增功能说明  
  2. ①、由分级判断改为权重判断,增加了单字权重判断。   
  3.     在org.wltea.analyzer.core包中LexemePath.java:compareTo(LexemePath)函数  
  4.   
  5. ②、增加了单字字频字典,除去了停止字典(交给stopFilter处理)  
  6. 在org.wltea.analyzer.dic包中Dictionary.java:  
  7.  /* 单字带词频词典 */  
  8. private DictCharNode _CharFreqDict;  
  9.   
  10. 在DictCharNode.java中:  
  11. 用HashMap实现了单字和字频的存储。  
  12.   
  13. ③、实现solr的接口  
  14. 在org.wltea.analyzer.lucene包中。  
  15. 一、IKHandler.java:用于处理HTTP请求,现只实现主词典的动态请求加载。  
  16.     请求参数:http://xxx/ikupdate?dicpath=dic.txt  
  17.     注意事项:1、多个字典文件以逗号分隔。  
  18.               2、在Zookeeper集群上时,得先上传修改后的字典文件,再更新。  
  19.     使用方法:需在solrconfig.xml中配置  
  20. <requestHandler name="/ikupdate" class="org.wltea.analyzer.lucene.IKHandler">  
  21.     <lst name="defaults">  
  22.     </lst>   
  23. </requestHandler>  
  24. 可以配置默认参数  
  25. <str name=”dicpath”>dic.txt</str>  
  26.   
  27. 二、IKTokenizerFactory.java  
  28. IKTokenizer.java:用于生成IK分词器实例对象。  
  29.     注意事项:IK共用一个字典文件,主字典和扩展字典都加载在_MainDict中。  
  30.     使用方法:在schema.xml中,增加dicpath配置项,每次生成对象时,都会加载。  
  31.               字典重建已封装在Dictionary类中,addDic2MainDic()函数  
  32.   
  33. 三、IKStopFilter.java  
  34. IKStopFilterFactory.java:停止词过滤  
  35. IKSynonymFilterFactory.java:同义词过滤  
  36.     注意事项:1、字典的切换采用solr默认接口实现  
  37.               2、2个过滤器在schema.xml均增加了autoupdate配置项,为true,则                     会定时去更新字典文件。  
  38.     使用方法:在schema.xml中,添加自己的过滤器类,增加配置项。  
  39.   
  40. 四、TimelyThread.java:  
  41. 停止词和同义词更新管理类,如果设置了autoupdate=true,则注册到此管理类中,由管理类定时去触发更新操作。  
  42.   
  43. 五、schema.xml示例  
  44.   
  45.   
  46.   
  47.   < fieldType name="text_cn" class="solr.TextField" positionIncrementGap="100" >          
  48.   
  49.   <analyzer type="index" >         
  50.     < tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" />  
  51.     < filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />  
  52.    < filter class="solr.LowerCaseFilterFactory"/>  
  53.   < /analyzer>  
  54.   
  55.   < analyzer type="query">  
  56.     <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" dicPath="extDic.txt,extDic1.txt"/>  
  57.     <filter class="org.wltea.analyzer.lucene.IKStopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" autoupdate="true"/>  
  58.     <filter class="org.wltea.analyzer.lucene.IKSynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true" autoupdate="true"/>  
  59.     <filter class="solr.LowerCaseFilterFactory"/>  
  60.   </analyzer>  
  61.   </fieldType>  

你可能感兴趣的:(改写IKAnalyzer分词器)