Self-training with Noisy Student improves ImageNet classification (2020 CVPR)

1. 出处

2020 CVPR

2. 主要内容

想要尽可能的利用上无标签的数据，来提高模型分类能力

3. 整体结构

输入数据：

labeled images和unlabeled images

3.1 Pipeline

self-training的3个步骤：

1. 在labeled ImageNet images上训练一个teacher model EfficientNet-B7
2. 利用teacher模型在unlabeled images上生成pseudo labels
3. 利用labeled images和pseudo labeled images训练student模型EfficientNet-L2

循环上述过程多次，将训练好的student作为teacher，relabel unlabeled data，训练新的student

确保student在训练时的输入是noised，teacher在生成pseudo labels的时候不是noised

3.2 Noise

为了noise the student，作者使用了2种噪声，input noise和model noise

input noise: data augmentation with RandAugment

model noise: dropout和stochastic depth

通过使用数据增强噪声，student需要保证对于一张图像，增强后的和未增强的有相同的类别，这种不变性约束使得student比teacher学到更多的知识。