lucene smartcn原理

Smartcn 分词器是 ictclas 简化功能的 java 版

 

Smartcn 分词三步： 1 ）原子切分； 2 ）找出原子之间所有可能的组词方案； 3 ） N- 最短路径中文词语粗分三步。

例如： “ 他说的确实在理 ” 这句话。

1 ）原子切分的目的是完成单个汉字的切分。经过原子切分后变成 “ 始 ## 始 / 他 / 说 / 的 / 确 / 实 / 在 / 理 / 末 ## 末 ” 。

2 ）然后根据 “ 词库字典 coredict” 找出所有原子之间所有可能的组词方案。经过词库检索后，该句话变为 “ 始 ## 始 / 他 / 说 / 的 / 的确 / 确 / 确实 / 实 / 实在 / 在 / 在理 / 理 / 末 ## 末 ” 。

图 1

3 ） N- 最短路径中文词语粗分， smartCN 用的是 1- 最短路径。首先我们要找出这些词之间所有可能的两两组合的距离（这需要检索 BigramDict 词典库 , 图 2 的权值）。

图 2

 

图 3 ：图 2 的逻辑表示

 

用动态规划的方法容易求得出最短路径：

例如从节点 0 到 5 消耗是 1+2+3+5 = 3.3+2.2+4.1+4.1 = 13.7

从节点 0 到 4 消耗是 1+2+4 = 3.3+2.2+7.1 = 12.6

节点 7 的消耗是 min(5->7, 4->7) = min(13.7+11.6 , 12.6 + 11.5) = 28.1 路径 4->7

...

求出最短路径，就找出了分词短句的结果。

 

总结一下 smartcn 的核心： coredict 用来存词，用来扩展单字。

Bigramdict 用来存跳转频率。最后用最短路径算法求最佳切分方式。 Bigramdict 怎么来的，从训练语料里统计出来的。最短路径求解体现了一定的语义分析，代价就是 Bigramdict 需要训练。

Smartcn 不能扩展词库，因为 Bigramdict 中没有对应的关联，如果要扩展得两个一起。

 

写的有点仓促，蛮多精华没介绍到， 想看更多细节可以看这里

http://www.ictclas.org/content_c_005.html

http://www.cnblogs.com/zhenyulu/articles/668035.html

下一步我想用CRF训练的结果生成新的coredict跟bigramdict，看下行不行。近年来CRF的结果已经远远优于机械的方法了，也就是用新方法结果来训练旧机器.