Kaiming He论文阅读笔记三——Simple Siamese Representation Learning

Kaiming He大神在2021年发表的Exploring Simple Siamese Representation Learning，截至目前已经有963的引用，今天我们就一起来阅读一下这篇自监督学习论文。

Siamese网络(wiki介绍)是应用于两个或多个输入的权重共享神经网络，它使用相同的权重，同时在两个不同的输入向量上协同工作以计算可比较的输出向量。通常其中一个输出向量是预先计算的，从而形成一个基线，与另一个输出向量进行比较。它们是比较(包括但不限于“对比”)实体的天然工具。

如MoCo就是一种Siamese网络中，MoCo维护一个负样本队列，并将其中一个分支变为动量编码器，以提高队列的一致性。SimCLR直接使用当前批中共存的负样品，需要较大的批大小才能正常工作。SimSiam直接共享两个分支之间的权值，所以它也可以被认为是“没有负对的SimCLR”。

SimSiam架构如下，它的行为类似于交替优化每个集合。一个图像的两个增强视图由同一个encoder f(backbone加projection MLP处理。然后，在一侧应用predictor MLP h，在另一侧应用停止梯度操作。预测MLP头h对一个视图的输出进行转换，并与另一个视图进行匹配，该模型使两边的余弦相似度最大化。

设输出$p_1=h(f(x_1)),z_2=h(f(x_2))$，我们最小化余弦相似度的负值：

Siamese的一个重要工作是取消梯度更新(stopgrad)，我们定义对称损失为

伪代码如下：