CV_Daily Issue 29

CV_Daily Issue 29

Yang Xian

• Rethinking Data Augmentation: Self-Supervision and Self-Distillation

数据增强技术（例如翻转或裁剪）通过显式生成更多训练样本来系统地扩展训练数据集，可有效提高深度神经网络的泛化性能。
在有监督的设置中，数据扩充的常见做法是将相同标签分配给同一来源的所有扩充样本。
但是，如果扩充导致它们之间的分布差异较大（例如旋转），则强制其标签不变性可能太难解决，并且常常会损害性能。
为了应对这一挑战，我们提出了一个简单而有效的想法，即学习增强样本的原始标签和自我监督标签的联合分布。
联合学习框架更易于训练，并且可以通过汇总来自不同增强样本的预测的汇总推理来提高性能。
此外，为了加快聚合过程，我们还提出了一种知识转移技术，即自我蒸馏，该技术将扩充知识转移到模型本身中。
我们展示了我们的数据增强框架在各种全监督的环境下的有效性，其中包括少数镜头和不平衡的分类场景。