论文阅读笔记（7-1）---Supervised Contrastive Learning

原文链接
B站讲解视频
Toutube视频搬运
参考解读
参考解读

研究背景

• 交叉熵损失函数是分类模型监督学习中应用最广泛的损失函数，但是它具有对噪声标签缺乏鲁棒性、边界性差等特点，泛化能力较差。

研究成果

• 提出了一个新的扩展对比损失函数，对于每一个锚允许有多个正样本，从而适应对比学习的监督模式。有监督对抗损失函数是对自监督学习对抗损失函数的推广，它将所有标签信息相同的子数据都视作正对。作者指出对抗损失的核心是足够多的负对，以与正对形成鲜明对比，此外由于增加正对的数量，这一架构还可以很好的刻画类内相似性。
  

• 实验结果表明提出的损失函数为许多数据集提供了一致的top1精度提升。它对自然干扰的抵抗力也更强。

• 实验结果表明提出的损失对于超参范围的敏感性不如交叉熵，因为使用的损失将同一类样本的代表拉得更近，而不是像交叉熵一样强迫他们拉到一个特定的目标。

• 分析表明：损失函数的梯度鼓励从hard positive和hard negative中学习。

有监督方法vs自监督方法 的对比损失：

• supervised contrastive loss（左），将一类的positive与其他类的negative进行对比（因为提供了标签）, 来自同一类别的图像被映射到低维超球面中的附近点。
• self-supervised contrastive loss（右），未提供标签。因此，positive是通过作为给定样本的数据增强生成的，negative是batch中随机采样的。这可能会导致false negative（如右下所示），可能无法正确映射，导致学习到的映射效果更差。

研究方法

论文核心点：

• 其基于目前常用的contrastive loss提出的新的loss，（但是这实际上并不是新的loss，不是取代cross entropy的新loss，更准确地说是一个新的训练方式）
• contrastive loss包括两个方面：1 是positive pair， 来自同一个训练样本通过数据增强等操作 得到的两个 feature 构成， 这两个feature会越来越接近， 2 是negative pair， 来自不同训练样本的 两个feature 构成， 这两个feature 会越来越远离。 本文不同之处在于对一个训练样本（文中的anchor）考虑了多对positive pair，原来的contrastive learning 只考虑一个。
• 其核心方法是两阶段的训练。如上图所示。 从左向右分别是监督学习，自监督对比学习，和本文的监督对比学习。 其第一阶段： 通过已知的label来构建contrastive loss中的positive 和negative pair。 因为有label，所以negative pair 不会有false negative。 其第二阶段： 冻结主干网络，只用正常的监督学习方法，也就是cross entropy 训练最后的分类层FC layer。

算法框架

与SimCLR类似。