来源:acl2022 findings
链接:https://arxiv.org/pdf/2203.00991.pdf
代码:自己实现
目录
任务
动机
模型
Negative samples selection
Contrastive probability optimization
实验
数据集
实验结果
结论
实验分析
错误汉字的统计
可视化 Common/Confusing汉字的概率
损失权值的影响
负样本个数的影响
样例分析
一些思考
中文拼写纠正(CSC):将文本的中错误汉字找出并纠正,一般是发音相似和字形相似的易混淆字
预训练语言模型(PLMs)促进了CSC任务的发展。
然而,PLMs学习到的知识和CSC任务的目标之间存在着差距。PLMs关注文本中的语义,并倾向于将错误的字更正为语义正确或常用的字,而可能和原字并没有任何音近形近的关系。
这也是PLMs的预训练任务造成的,例如bert的预训练任务是 mask language model,待预测的汉字大部分输入都是[MASK], 模型根本不知道原汉字是什么。
如果仅仅只考虑的语义,不考虑与原汉字的发音和字形关系,则一个错误的字可以改正多个合适的字。如下图
论文提出了错误驱动的对比概率优化框架Error-driven Contrastive Probability Optimization (ECOPO),对PLMs中的知识表示进行了细化,并通过错误驱动的方式引导模型避免预测出常见汉字。
ECOPO是模型无关的,可与现有的CSC方法相结合以获得更好的性能。
模型的结构如下图所示,PLMs以bert为例:
其实,就是增加了一个loss,将bert预测出来的常见汉字作为负样本,标签汉字作为正样本。
根据loss优化模型,使得bert避免预测出常见并且不是标签的汉字。
最终缩小预训练模型的知识与CSC目标之间的差距
包含两个步骤:
负样本的选择
每个位置,正确的汉字作为正样本,预测概率最高并且不是正确汉字的前k个汉字作为负样本
这里的概率使用的是未微调bert的概率呢?还是微调过程中的概率呢?论文似乎没有说清楚。
不过按照下文的推测应该是微调过程中的概率
对比概率优化
对比学习的主要动机是在一定的空间内吸引正样本,排斥负样本。现有的NLP对比学习模型主要集中在表征空间(如词/句/语义表征)。论文提出的方法通过选择正/负样本及其原始预测概率,直接优化模型对不同汉字的概率空间
完成正负样本的选择及其对应的概率之后,论文通过对比概率优化(CPO)来训练模型
即最小化,正样本的概率 减去 所有负样本的概率的均值
最后,使用的loss为原有的ORI loss 和CPO loss的加权求和,实验结果发现,
=1时,结果最好。
原有的CSC任务,仅仅使用softmax和交叉熵损失函数来优化模型,为什么要用CPO损失呢?
1.动机不同:softmax是归一化模型输出到概率分布。CPO损失是在概率空间中,细化PLMs的知识表征(说啥,听不懂)
2.范围不同:softmax依赖于模型的logit输出,缺乏局部关注点。CPO损失通过负样本的选择,更加关注模型难以处理的样本
3.结果不同:softmax得到的是概率分布,CPO最终优化的是正负样本的相对顺序
SIGHAN Bake-off 2013: SIGHAN Bake-off 2013: Chinese Spelling Check Task
SIGHAN Bake-off 2014: CLP-2014 Bake-off: Chinese Spelling Check Task
SIGHAN Bake-off 2015: SIGHAN Bake-off 2015: Chinese Spelling Check Task
Wang271K: https://github.com/wdimmy/Automatic-Corpus-Generation
sighan13,sighan14,sighan15 包含对应的训练集和测试集,Wang271K仅仅用来训练
具体可参考:https://github.com/DaDaMrX/ReaLiSe
1. ECOPO (BERT) 的结果在每个测试集上都比BERT本身的有较大的提高,尤其在sighan15上面,比现有的比较复杂的模型PLOME,REALISE的结果还好。
2. 由于ECOPO是模型无关的,也可加在现有的最好的模型REALISE之上,也取得了约一个点的提升
3. 先前的方法Faspel和spellgcn利用了混淆集外部信息,PLOME和REALISE则利用了拼音字形外部信息,而论文提出的方法没有使用
使用不同的loss训练模型,分析错误纠正的例子
如果预测出的汉字与输入汉字前后组成的2-gram出现的次数超过1000次,就被认为是Common;其他的错误被任务是Confusing
从上表可以看出,仅仅使用softmax,common错误的样例占比很高,当使用CPO或者ECOPO后,common错误的样例占比明显降低。
公式5中的权值
标蓝的部分应该写错了,应该是,
=0等同于baseline BERT
1. 最好的csc模型,应该是选择和原字相似的汉字中,概率最高的。上面的方法会不会破坏bert语言模型的功能呢?有待进一步验证。
2. 负样本的选择还可以是什么?使用所有非正确的汉字,为什么不可以? 输入的错误汉字是否可以呢?
接下来会尝试复现一下论文的结果。
代码如下:
import torch
import torch.nn as nn
import torch.nn.functional as F
class CpoLoss(nn.Module):
"""
CpoLoss.
from https://arxiv.org/pdf/2203.00991.pdf
"""
def __init__(self, k=5):
super(CpoLoss, self).__init__()
self.k = k
def forward(self, logits, target, mask=None):
"""
Args:
logits: model's output, shape of [batch_size, num_cls]
target: ground truth labels, shape of [batch_size]
Returns:
shape of [batch_size]
"""
batchsize, seqlen, vocab_size = logits.size()
logits = logits.view(batchsize * seqlen, vocab_size)
probs = torch.softmax(logits, dim=-1) # BS*V
target = target.contiguous().view(-1, 1).long() # BS*1
pos_prob = probs.gather(1, target) # BS*1
# 正样本概率
neg_prob, neg_idx = torch.topk(probs, self.k) # BS * K
# 负样本概率 BS
# Contrastive Probability Optimization Objective
# 正样本概率-负样本概率,求均值
# 如果正样本在前k个,则负样本是K-1个,反之,负样本为K个
expand_pos_idx = target.expand(-1, self.k)
not_equals = expand_pos_idx != neg_idx
not_equals_num = torch.sum(not_equals, dim=-1)
expand_pos_pob = pos_prob.expand(-1, self.k)
minus_porb_sum = torch.sum(expand_pos_pob - neg_prob, dim=-1)
# 正样本概率-正样本的概率等于0,只是除数不一样
batch_loss = - minus_porb_sum / not_equals_num
loss = batch_loss.mean()
return loss
从公式5看,loss可能存在负数