A Simple Framework for Contrastive Learning of Visual Representations

Ting Chen，Simon Kornblith，Mohammad Norouzi，Geoffrey Hinton

---

  本文介绍了SimCLR：用于视觉表示的对比学习的简单框架。我们简化了最近提出的对比自我监督学习算法，而无需专门的架构或存储库。为了了解什么使对比预测任务能够学习有用的表示形式，我们系统地研究了框架的主要组成部分。我们表明，（1）数据扩充的组合在定义有效的预测任务中起着至关重要的作用；（2）在表示和对比损失之间引入可学习的非线性变换，大大提高了学习表示的质量，（3）对比学习与监督学习相比，更大的批次规模和更多的培训步骤可带来更多好处。通过结合这些发现，我们能够大大胜过ImageNet上用于自我监督和半监督学习的先前方法。 SimCLR学会了根据自我监督表示训练的线性分类器，可达到76.5％的top-1准确性，与以前的最新技术相比，相对改进了7％，与监督的ResNet-50的性能相当。当仅对1％的标签进行微调时，我们可以达到85.8％的top-5精度，其标签数量减少了100倍，从而胜过AlexNet。

---

  判别方法使用类似于监督学习的目标函数来学习表示，但是训练网络执行前置任务，其中输入和标签均来自未标记的数据集。许多这样的方法依赖于启发式方法来设计借口任务（Doersch等人，2015; Zhang等人，2016; Noroozi＆Favaro，2016; Gidaris等人，2018），这可能会限制学习表示的通用性。基于潜在空间中的对比学习的判别方法最近显示出了巨大的希望，并取得了最新的成果（Hadsell等人，2006; Dosovitskiy等人，2014; Oord等人，2018; Bachman等人。，2019）。

  在这项工作中，我们介绍了一个用于视觉表示的对比学习的简单框架，我们称之为SimCLR。 SimCLR不仅优于以前的工作（图1），而且更简单，既不需要专门的架构（Bachman等人，2019;Hénaff等人，2019），也不需要存储库（Wu等人，2018; Tian等人，2019； He等人，2019； Misra＆van der Maaten，2019）。

  为了理解什么可以促进良好的对比表示学习，我们系统地研究了框架的主要组成部分并显示：

• 多个数据增强操作的组合对于定义产生有效表示的对比预测任务至关重要。 另外，无监督的对比学习受益于比有监督的学习更强大的数据增强。

• 在表示和对比损失之间引入可学习的非线性变换，可以大大提高学习的表示的质量。

• 归一化嵌入和适当调整的温度参数将带来具有相反的交叉熵损失的表示学习。

• 与之相比，对比式学习得益于更大的批量和更长的培训。 像监督学习一样，对比学习受益于更广泛的网络。

  我们结合这些发现，在ImageNet ILSVRC-2012上实现了自我监督和半监督学习的最新技术（Russakovsky等人，2015）。 在线性评估方案下，SimCLR的top-1准确性达到76.5％，相对于之前的最新技术水平有7％的相对提高（Hénaff等，2019）。 当仅用1％的ImageNet标签进行微调时，SimCLR的top-5准确性达到85.8％，相对提高10％（Hénaff等，2019）。 当在其他自然图像分类数据集上进行精细调整时，SimCLR在12个数据集中的10个数据集上的性能与强监督基准（Kornblith等，2019）相当或更好。

2.1 The Contrastive Learning Framework