solr4.7.2+mmseg2.0+pinyinAnalyzer实现拼音、简拼检索

生产环境：

solr4.7.2

jdk1.6

lucene4.7.2

mmseg4j-core-1.10 (https://github.com/chenlb/mmseg4j-core.git)

mmseg-solr-2.0 (https://github.com/chenlb/mmseg4j-solr.git)

pinyin4j-2.5.0

pinyinAnalyzer (https://github.com/liangbaolin/pinyinAnalyzer.git)

说明：

1. 由于mmseg4j本身对max-word模式下分词做了最小只能是2个词的限制，而作者又没有好的办法，所以我们针对自身应用做了一些调整
2. 由于pinyinAnalyzer是针对solr5.0以上的版本，所以我们对其源码做了调整，将其整合到了4.7.2中；
3. 由于pinyinAnalyzer中转换拼音简称的时候使用的是pinyin4j包中的getPinyinShortCollection方法，而该方法输出简拼时会多输出一个字母(如：“重庆”的输出为[cq,zq,c,z]，而其中的单个字母对索引影响极大)；因此将其替换为getPinyinShort方法(如：“重庆”的输出为cq,zq)

 

pinyinAnalyzer源码修改：(这里只列主要的PinyinTokenFilter.java)

需求：

1. 需要搜索拼音能搜到对应企业，如搜索”xiaomi”可以查询出“小米通讯技术有限公司”
2. 搜索“xiaomi”可以高亮汉字“小米”
3. 可以使用拼音简称搜索，如搜索“cq”或“zq”可以搜到包含“重庆”的数据

方案分析：

开始考虑两种方案：

方案一：在应用中将中文搜索词转为拼音，对于关键词统一以英文或拼音的形式搜索

方案二：通过分词手段，在建立索引时直接将分词后的关键词对应的全拼（包括多音字全拼）、简拼(如cq,zq)一并写入索引；

              查询时，只需要以同样规则将搜索词分词后再加入拼音，这样既可以搜索中文，又可以搜索拼音

说明：因为方案二的调整仅限于索引层面，而对应用本身毫无影响，所以最终选择方案二

 

前期含拼音分词测试：

1.分析词“重庆”、查询词“重庆”，分析结果如下：

2.分析词“重庆”、查询词“cq”，分析结果如下：

3.分析词“重庆”、查询词“chongqing”，分析结果如下：

 

solr配置：

1.将修改过源码的pinyinAnalyzer.jar、msseg4j-core.jar放于solr4.7.2对应lib目录

2.将pinyin4j-2.5.0.jar放于solr4.7.2对应目录下

3.配置schema.xml：

   a.定义字段类型

   <fieldType name="text_mmseg4j_pinyin" class="solr.TextField" positionIncrementGap="100" autoGeneratePhraseQueries="false" >

        <analyzer type="index">

            <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="max-word" dicPath="dic"/>

            <filter class="utn.index.mmseg.solr.PinyinTokenFilterFactory"  minTermLength="2" pinyinAll="true"  outChinese="true"/>

        </analyzer>

        <analyzer type="query">

            <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="max-word" dicPath="dic"/>

            <filter class="utn.index.mmseg.solr.PinyinTokenFilterFactory"  minTermLength="2" outChinese="true" pingyinAll="true"/>

        </analyzer>

    </fieldType>

   b.将对应field的type改为text_mmseg4j_pinyin

   c.重启solr

 

修改后的源码及jar包见附件