论文 ｜ SimSiam: Exploring Simple Siamese Representation Learning

一 写在前面

未经允许 不得转载 谢谢～～～

• title： SimSiam: Exploring Simple Siamese Representation Learning

• 出处：CVPR2021

  
  
  image.png

二 主要内容

2.1 motivation

主要是为了解决自监督以及无监督中最常用的孪生网络siamese network容易崩塌的问题。

目前为了解决这个问题，现有的方法主要有三种：

1. Contrastive learning：以SimCLR为代表，构造正负样本，并需要超大batch size
2. Clustering： 用聚类的想法获取到不同的类别中心，虽然没有上一类方法中明显定义的正负样本，但这里的聚类中心也可以扮演负中心，但也需要超大batch size以及memory bank来提供足够多的样本用于聚类；SwAV是一个代表（我没有看这个文章）
3. momentum encoder：BYOL 是另一个方法，提出通过一个momentum encoder解决训练坍塌问题；

2.2 本文方法

本文提出momentum encoder并不是必须的，只需要切掉其中一路的梯度回传就可以了。

示意图如上图所示，其实整个模型并不复杂，基本都在图里表达清楚了。

1. 输入图像x；
2. 做两次不同的增强得到x1以及x2；
3. 对x1依次过一个encoder f以及一个predictor h，对x2过一个encoder f，这里两个f是共享的；
4. 最大化两路的similarity做为优化的目标函数，但是在梯度回传的过程中切掉x2这一路的直接回传；

文章还给出了伪代码：