Label smooth

什么是Label smooth regularization

对分类问题 经过softmax函数之后的 one hot 编码(正类概率为1，其他为0)进行改进。

为什么要使用Label smooth regularization

one-hot 编码的问题：会自驱的向正类和负类的差值扩大的方向学习(过度的信任标签为1的为正类)，在训练数据不足的情况容易过拟合。

原理

思路：软化softmax、劫富济贫
我们使用交叉熵损失函数
$$loss=-\sum _{k=1}^{K}q(k|x)\log (p(k|x))$$
其中$q$表示真实类别，$p$表示预测的类别
$$\begin{gathered} q^{\prime }(k)=(1-ϵ)q(k)+ϵu(k) \\ H(q^{\prime },p)=-\sum q^{\prime }(k)\log p(k) \\ H(q^{\prime },p)=(1-ϵ)H(q,p)+ϵH(u,p) \end{gathered}$$