ikanalyzer for solr4.3(ik4solr4.3)

ik4solr4.3

solr4.3的ik分词器（[https://github.com/lgnlgn/ik4solr4.3] 主要改动不是我完成的，只是指点。使用maven）

• 支持从solr自己的环境中获取自定义词典（使用solr的ResourceLoader, 只需要把字典文件放到conf目录里）

• 增加一个定时更新的停用词、同义词工厂类

============我是分割线====以下是详细说明================

6.1新增功能说明
①、由分级判断改为权重判断，增加了单字权重判断。 
    在org.wltea.analyzer.core包中LexemePath.java：compareTo(LexemePath)函数

②、增加了单字字频字典，除去了停止字典(交给stopFilter处理)
在org.wltea.analyzer.dic包中Dictionary.java：
 /* 单字带词频词典 */
private DictCharNode _CharFreqDict;

在DictCharNode.java中：
用HashMap实现了单字和字频的存储。

③、实现solr的接口
在org.wltea.analyzer.lucene包中。
一、IKHandler.java：用于处理HTTP请求，现只实现主词典的动态请求加载。
    请求参数：http://xxx/ikupdate?dicpath=dic.txt
    注意事项：1、多个字典文件以逗号分隔。
              2、在Zookeeper集群上时，得先上传修改后的字典文件，再更新。
    使用方法：需在solrconfig.xml中配置
<requestHandler name="/ikupdate" class="org.wltea.analyzer.lucene.IKHandler">
    <lst name="defaults">
    </lst> 
</requestHandler>
可以配置默认参数
<str name=”dicpath”>dic.txt</str>

二、IKTokenizerFactory.java
IKTokenizer.java：用于生成IK分词器实例对象。
    注意事项：IK共用一个字典文件，主字典和扩展字典都加载在_MainDict中。
    使用方法：在schema.xml中，增加dicpath配置项，每次生成对象时，都会加载。
              字典重建已封装在Dictionary类中，addDic2MainDic()函数

三、IKStopFilter.java
IKStopFilterFactory.java：停止词过滤
IKSynonymFilterFactory.java：同义词过滤
    注意事项：1、字典的切换采用solr默认接口实现
              2、2个过滤器在schema.xml均增加了autoupdate配置项，为true，则                     会定时去更新字典文件。
    使用方法：在schema.xml中，添加自己的过滤器类，增加配置项。

四、TimelyThread.java：
停止词和同义词更新管理类，如果设置了autoupdate=true，则注册到此管理类中，由管理类定时去触发更新操作。

五、schema.xml示例



  < fieldType name="text_cn" class="solr.TextField" positionIncrementGap="100" >        

  <analyzer type="index" >       
    < tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" />
    < filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
   < filter class="solr.LowerCaseFilterFactory"/>
  < /analyzer>

  < analyzer type="query">
    <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" dicPath="extDic.txt,extDic1.txt"/>
    <filter class="org.wltea.analyzer.lucene.IKStopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" autoupdate="true"/>
    <filter class="org.wltea.analyzer.lucene.IKSynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true" autoupdate="true"/>
    <filter class="solr.LowerCaseFilterFactory"/>
  </analyzer>
  </fieldType>