nn.CrossEntropyLoss() 中的参数 label_smoothing

1 label_smoothing 的原理

• Label Smoothing也称之为标签平滑，其实是一种防止过拟合的正则化方法。传统的分类loss采用softmax loss，先对全连接层的输出计算softmax，视为各类别的置信度概率，再利用交叉熵计算损失

• 在这个过程中尽可能使得各样本在正确类别上的输出概率为1，这要使得对应的z值为+∞，这拉大了其与其他类别间的距离

• 现在假设一个多分类任务标签是[1,0,0]，如果它本身的label的出现了问题，这对模型的伤害是非常大的，因为在训练的过程中强行学习一个非本类的样本，并且让其概率非常高，这会影响对后验概率的估计。并且有时候类与类之间的并不是毫无关联，如果鼓励输出的概率间相差过大，这会导致一定程度上的过拟合。

• 因此Label Smoothing的想法是让目标不再是one-hot标签，而是变为如下形式

• 其中ε为一个较小的常数，这使得softmax损失中的概率优目标不再为1和0，同时z值的最优解也不再是正无穷大，而是一个具体的数值。这在一定程度上避免了过拟合，也缓解了错误标签带来的影响