读后感 - Self-training with Noisy Student improves ImageNet classification

• 论文链接
  https://arxiv.org/pdf/1911.04252v2.pdf

• 我学到的思想
  初始训练一个教师模型，用来给未标注的图片生成伪标注。用这些伪标注的图片，加上有标注的图片同时训练一个学生模型。通过给学生模型添加噪声使得学生模型优于教师模型，有更好的泛化能力，再用学生模型替代教师模型，以此迭代。

• 小细节

1. 学生模型至少和教师模型一样复杂
2. 用RandAugment进行数据增强，用dropout和stochastic depth给模型添加噪声
3. 在平衡伪标注数据类别的时候，过采样数据少的类别，对于数据多的类别，保留教师模型标注下来置信度最高的数据