论文解读Mask the Correct Tokens: An Embarrassingly Simple Approachfor Error Correction

论文解读Mask the Correct Tokens: An Embarrassingly Simple Approachfor Error Correction_第1张图片
论文解读Mask the Correct Tokens: An Embarrassingly Simple Approachfor Error Correction_第2张图片
论文解读Mask the Correct Tokens: An Embarrassingly Simple Approachfor Error Correction_第3张图片
论文解读Mask the Correct Tokens: An Embarrassingly Simple Approachfor Error Correction_第4张图片

将bert的预训练加入纠错训练,问题是[MASK]替换再预测,会带来的负面影响,而且这样做真的比两阶段训练好嘛?

如果两阶段训练,第二阶段也做一些混淆集的替换又会怎样呢? 这样的copy占比也很少啊?论文实验表明增加20%的copy to mask 结果最好(这个比例应该和测试集有关吧)

你可能感兴趣的:(论文阅读,深度学习,文本纠错)