pycorrector源码解读

纠错广泛应用于诸如搜索的query分析等领域。

纠错思路框架.png

纠错思路如图。这里主要解读一下pycorrector源码。

先对文本预处理，切分句子，对句子detect_sentence找maybe_errors。包括自定义混淆集，专名错误，字错误，词错误。

自定义混淆集即为错误词：正确词的kv对，这里是遍历词典对句子用find，个人认为可以做一些优化：先分词然后用最大后向匹配去找词典中的词，这样时间复杂度和句子长度有关而和词典无关，且分词后识别错误更准确。如“无线大”->"无限大"，单独来看是对的，但是如果在语境“无线大喇叭”，如果直接这样纠错成“无限大喇叭”反而是错的，应该将这种情况也同样放在后面进行perplexity计算而不是直接改正。

词错误是指未登陆词。字错误使用语言模型检测，这里对每个位置index分别用bigram和trigram，得到kenlm的score，取平均值。用移动窗口将两头的score补全。然后对整个score list用平均离差法(MAD)，找到离median远的score对应的index，即为可能错误位置。

收集到所有可能错误位置，对混淆集和专名错误直接处理。

而对字词错误进行扩展正确词候选召回。这里的逻辑是：
逻辑1:原词中相邻字颠倒，或者用常用字分别替换每个字后，拼音相同且在词典里的词。
逻辑2:用音近字和形近字替换字符。
对1个字符词，使用逻辑2。
对2个字符词，对两个字符分别和共同使用逻辑2。
对3个及以上字符词，对第2个字符使用逻辑2，以及除第1个和最后1个字外的部分分别使用逻辑1。

这里的候选召回逻辑略有一点怪异，可以继续扩展，如对拼音做编辑距离生成词，或者插入、删除字。

然后对候选召回进行perplexity计算，代码中不是直接使用最小（好）的为纠正结果，而是给了一个threshold，当原词和top词差距大于threshold才会进行纠正，防止过纠。这里可以有一个优化，因为对每个词分别纠正为局部最优，可以将所有错误的召回组合起来算全局最优，当然这个时间复杂度会大大加大，且threshold情况也变得更加复杂。

另外这里面除了上述说的外还可以优化的点：
1.ngram模型可以加入特定领域语料重新训练
2.召回阶段可以用前后鼻音、平翘舌、nl等规则扩大召回
3.排序阶段，可以对召回的字用模型计算概率。模型的样本这里可以采用无监督方式，因为无监督语料我们可以认为是对的，然后用错字召回字替换来作为负样本。特征用上下文的字，上下文拼音，待预测字拼音，差异等。