文章分享《Supervised Contrastive Learning》 自监督对比学习和有监督对比学习的区别

文章题目 Supervised Contrastive Learning

作者：

• Prannay Khosla
• Piotr Teterwak
• Chen Wang
• Aaron Sarna

时间：2020
会议：NeurIPS

---

文章的主要思想

文中的一张图很清楚明了的表明了自监督对比学习与有监督对比学习的区别。自监督的对比学习中，一个样本对应着data augmentation一个正样本和多个负样本，以往的关于对比学习的研究中，也是热衷于不断增加负样本的数量来提高模型的表征能力；有监督的对比学习，将同一类的样本（这样就已知标签，所以叫做有监督的对比学习）都作为正样本，不同类的样本多作为负样本。

文章的主要贡献

正如文中所说，这就是的自监督对比学习的损失函数在有监督的对比学习中不能适用，它不能处理由于标签的存在而已知有多于一个样本（一个样本对应着多个正样本）属于同一类别的情况。

因此文中设计了两种针对有监督对比学习的损失函数。根据公式可以这样理解，仍然默认一个样本对应一个正样本，将其按照自监督对比损失的方法计算，然后再计算这个样本与另一个正样本的对比损失，直到计算完所有的样本的对比损失。公式out与公式in的区别在于平均是在取log前还是在log后，文章中竟然在两种方法上做出了差别，并给出了公式证明（所以说，想发好的期刊会议公式证明必不可少）。

本文最后

文章后面的内容都是实验与结果了，快速阅读时就不细致看了，当想学习如何写作和做实验时可以详细阅读，现在以快速接受为主。