对比学习 (Contrastive Learning) 发展历程 - 综述

前言

如果你对这篇文章感兴趣，可以点击「【访客必读 - 指引页】一文囊括主页内所有高质量博客」，查看完整博客分类与对应链接。

本文为「对比学习论文综述」的笔记，其中将对比学习分为了以下四个发展阶段：

• 百花齐放
• CV 双雄
• 不用负样本
• Transformer

其中涉及到的一些方法，具体关系如下：

---

百花齐放

InstDisc (cvpr18)

• 把每一个个体当作一个类别，学一种特征将每一张图片都区分开，进而引入个体判别这一代理任务
• 正样本即图片本身（可能数据增强），负样本即其它所有图片
• 大量负样本都存在 Memory Bank（ImageNet 中为 128w），因此特征数不能过高（128 维）
• 每次一个正样本，对应采样的 4096 个负样本，使用 NCE loss 计算损失；随后将这个 mini-batch 中样本的新表示，拿去更新 Memory Bank 中的结果

InvaSpread (cvpr19)

• 从同一个 minibatch 中抽取正负样本，属于端到端的学习
• 使用同一个编码器，且不需要存储大量的负样本

CPC (arxiv18)

• 一个编码器 + 自回归模型
• 用预测的代理任务来做对比学习，提出 InfoNCE Loss

CMC (eccv20)

• 同一张图片的多个模态为正样本，其余为负样本
• 不同模态使用不同的编码器
• 证明了对比学习的灵活性

---

CV 双雄

这段时期主要是「MoCo 系列模型」与「SimCLR 系列模型」在轮番较量。

MoCo (cvpr20)

• 队列（取代 Memory Bank）与动量编码器（动量地更新编码器，而不是更新特征）
• 使用 InfoNCE 作为目标函数，并第一次使用无监督方法比有监督表现地更好
• Insight
  • 负样本最好足够多，即字典足够多
  • 负样本来自的编码器，尽量保持一致，即字典中的特征应保持一致

SimCLR (icml20)

• 正负样本来自同一个 minibatch，每个样本会进行数据增广
• 得到表示后，会再过一个 g (MLP + ReLU) 降维得到 z，随后在 z 上训练 h；但在下游任务上，会丢弃 g，只使用 h
• 与 InvaSpread 区别
  • 更多的数据增广方式
  • 更大的 batch size
  • 增加了 g 模块

MoCo v2 (arxiv20)

• 将 SimCLR 中的 g 和数据增广，借鉴到了 MoCo 中
• MLP、aug+、cosine learning rate schedule、more epochs

SimCLR v2 (nips20)

• 用更大的模型，无监督对比学习效果更好
• 将之前一层的 MLP (fc+relu) 换成两层的 MLP，即加深了 projection head
• 使用动量编码器

SwAV (nips20)

• 拿到负样本聚类得到的矩阵，将其作为映射矩阵 C，随后代理任务为，两个正样本 z1、z2，经过映射矩阵 C 得到的 Q1、Q2，应尽可能相似
• trick：数据增广时，采用多尺度去裁剪图片 (multi crop)

---

不用负样本

BYOL (nips20)

• Model collapse: 即一旦只有正样本，模型会学到 trival solution，即所有输入都对应相同输出
• 编码器 1 为希望学到的编码器，编码器 2 为动量编码器，两个正样本经过编码器 1、2 分别得到 z1、z2，随后 z1 再过一层 MLP 得到 q1，此时用 q1 来预测 z2 进而来更新网络（使用 MSE Loss）。最后在下游任务上，使用编码器 1 进行特征表示
• BYOL 为什么不会坍塌：如果去除 BYOL 中 MLP 里的 BN，学习就会坍塌，但加上就不会
  • 一种解释角度：BN 即使用 minibatch 的均值和方差，因此 BN 会导致数据泄露，即 BYOL 实际上是和 “平均图片” 去比，可以认为是一种隐式的负样本
• BYOL 后续进一步回应（大量消融实验）：BN 能够使模型训练更加稳定，就算不用 BN，换成 Group Normalization 或者比较好的初始化，BYOL 依然可以学得比较好

SimSiam (cvpr21)

• 特点：不需要负样本、大 batch size、动量编码器
• 方法：将 BYOL 中的动量编码器变成了一个可以更新的编码器
• 解释：stop gradient 使得模型的更新交替进行，类似 EM 的思想

---

Transformer

MoCo v3 (iccv21)

• 在 MoCo v2 基础上，引入了 SimSiam 中 predictor 以及两边一起更新的 EM 思想，并将 backbone 从 ResNet 换成了 Vision Transformer
• 出现的问题：大 batch size 时，训练波动很大，导致最终结果也不太好
• 解决方式：在训练时，冻住 patch projection layer，即使用 random patch projection layer

DINO (iccv21)

• 整体与 MoCo v3 非常像，主要不同在于算 loss 时，用了一下 centering 的 trick

---

参考资料

• 李沐 - paper-reading
• 对比学习论文综述（论文精读）