背景
这里介绍的优化是基于 ik 分词源码的优化。首先，我们知道，ik 分词默认有两种分词模式，分别为：ik_max_word 和 ik_smart
这里针对这两种分词方式分别存在的问题有：
ik_max_word ：最细粒度分词方式
分的太细了，召回率确实很高，但是会导致召回的内容存在语义问题。例如，北京的一天，召回了 南京的游玩，或者任何地方的一天等等。
ik_smart：最粗颗粒度分词方式
1. 分的太粗，保证了召回的精准性，但是召回率却很低。
2. 存在歧义，导致召回了不是想要的结果集，例如：广西北海 --> 广西 | 西北 | 北海，找回去了西北相关的数据。
ik_smart 消歧逻辑
当前 ik_smart 采用的是：贪心算法，分别为：
有效文本长度->词元个数->路径跨越->词元位置->词长平均→词元位置权重
可以在该算法的基础上进行改进
优化三部曲
不管做什么优化，前提保证不影响原分词效果，故在原有基础之上增加一种新的分词方式，暂定为：ik
去除语义覆盖的单字
例：玻璃栈道
ik：玻璃栈道 | 玻璃 | 栈道
ik_max_word：玻璃栈道 | 玻璃 | 玻 | 璃 | 栈道 | 道
这里需要注意：在去除单字的时候需要考虑当前 token 所在位置与单字所在位置是否可覆盖，不可覆盖的情况下该单字是不能去除的，例如：
月坨岛华清月府温泉酒店 --> 月坨岛 不能覆盖 华清月府 中的月，故不能因为月坨岛有月，在华清月府中就将单字 月 去掉，这是不对的。
专有名词优化
这个优化一般都是基于行业垂直领域来做的优化。先举例来说吧：
普吉岛、印度尼西亚、香格里拉一日游，分出来的：普吉岛-->吉岛、印度尼西亚-->印度 以及 香格里拉-->里拉，这些都是另外的一个国家地名，都不是这个原词所表达的含义，也就是说想这类专有词就不应该再拆分了，拆分开就会导致语义失真。
优化的方式就是将这些专有名词，这里指的是对应的 mdd、poi 等词用文件固话到 ik 分词器中，启动的时候通过 Dictionary 类去加载到内存，在分词链条中做对应的过滤处理即可。
香格里拉一日游 ：原始 ik 分词结果 → 香格里拉|香格|格里拉|格里|里拉|一日游|一日|
新版 ik 分词结果 → 香格里拉|一日游|一日|
去歧处理
借鉴 jieba 分词方式，修改词库文件格式。因为 ik 分词器词典格式为一行一词，需要进行改进，在词典中加入对应挖掘的词频，以及词性。
词典结构为： 单词 词频 词性 ，例如： 西安 2000 n
需要对ik源码中词典结构进行修改。
这里可以提供点改动思路，详情想了解的可以私信我吧，毕竟属于公司内部的：
利用 es 提供的接口，将词库中所有的词分别获取一遍对应的词频，这个是可以取到的。
而且使用 es 获取业务内部的词频更加准确有效，比起从人民日报资源中挖掘出的，直接应用在项目中要好太多了。
其次可以利用第三方接口来得到对应词的词性，这个也很容易拿到，这样词典格式改造就可以轻松的完成了。剩下的就是 ik 源码的改造：
一是首先修改 Dictionary 加载词典的方式；
二是改造去歧逻辑，优化的地方采用的是：
在ik进行前三步判断后： 有效文本长度->词元个数→路径跨越 ，如果还剩多个候选集，后三步骤结合jieba分词中的动态规划计算组合的成词概率来进行去歧处理。