【PaperReading】Rethinking the Inception Architecture for Computer Vision(Label Smoothing)

论文链接：https://arxiv.org/pdf/1512.00567.pdf

1.Model Regularization via Label Smoothing

主要思想是改变以往ground truth label  one hot 编码的方式，引入一些固定分布的噪声，使得label更加soft，防止过拟合

简单来说，可以加入一个固定的均匀分布到label中。

从LOSS角度来看，其实是加入了一个新的loss，防止过拟合。

可以认为 loss 函数分别以不同的权重对 predicted label 与标注的label 的差距 以及 predicted label 与 先验分布的差距 进行惩罚。根据文章的报告，可以对分类性能有一定程度的提升。（In our ImageNet experiments with K = 1000 classes, we used u(k) = 1/1000 and = 0.1. For ILSVRC 2012, we have found a consistent improvement of about 0.2% absolute both for top-1 error and the top-5 error ）

 

Reference：

1. https://blog.csdn.net/edogawachia/article/details/78552257

2. https://arxiv.org/pdf/1512.00567.pdf