中文文字校对和文档对比合并开源工具调研

中文文字校对和文档对比合并开源工具调研

针对中文文字错别字校对和word，ppt等文档对比合并需求，调研现存的一些开源工具。
一. 中文文字纠错：

1. pycorrector （开源 python3.6）

中文文本纠错工具。

音似、形似错字（或变体字）纠正，可用于中文拼音、笔画输入法的错误纠正。依据语言模型检测错别字位置，通过拼音音似特征、笔画五笔编辑距离特征及语言模型困惑度特征纠正错别字。

语言模型：

Kenlm（统计语言模型工具）

RNNLM（TensorFlow、PaddlePaddle均有实现栈式双向LSTM的语言模型）

可扩展性：

词典可扩展，可使用自己的语料进行训练，该repo使用的是人民日报数据。扩展性强。
pycorrector纠错流程:

• 加载字典

• 统一编码

• 长句切分为短句，对每一个短句进行检错纠错

  • 首先，检测句子中的疑似错误信息，返回的疑似错误信息包括[错误词、错误词位置、错误类型]，具体的做法是：①将句子切分成一个个的词语，如果词语不是过滤词也没有出现在词、频数字典中，就认为这个词可能是一个错误词，把它加入疑似错误信息；②根据语言模型检测疑似错误字，加入疑似错误信息。

  • 针对上一步得到的错误信息，逐个对错误进行纠正：如果困惑集中有这个词，直接将错误词替换即可；否则，取得所有可能正确的