对比学习simSiam（一）--Exploring Simple Siamese Representation Learning总体理解

1.从名字上把握

sim是我们熟知的相似的那个单词，这个Siam是孪生的意思，这里使用这个来命名应该是为了指出孪生的重要性。这里的核心其实是在提出一个思想，对比学习这种由孪生网络结构构成的无监督学习的关键其实是孪生网络，两个网络有其中一方停止梯度传播来得到好的效果。（也就是两个关键:孪生网络和停止梯度）

2.文章想解决的问题

文章指出来对比学习、BYLO等其实都是在解决无监督学习当中的坍塌问题，为了解决这种坍塌的问题。

2.1坍塌问题

这里其实我们就得说一下什么是坍塌问题：

• 1.对比学习其实是学习特征提取，特征提取的目标是什么？
  从结构上看我们仅仅是让来自同一张图片不同的数据增强得到的内容拉在一起，那么如果我们最后所有的输出都拉在同一个输出上，显然效果非常好。但是这个时候我们的表示学习其实就完全没有work。所以我们最后的目标是将其拉在一个超球面上，而不是一个点上。
  *** 2.坍塌问题是什么？**
  坍塌问题其实就是指的是表示学习成为一个点的这个情况。

2.2之前解决坍塌的方法

对比学习使用在拉近正例的同时，将负例拉远。来防止所有的内容直接对应在一个点上这种情况。

BYLO:

2.3本文提出

其实想要解决坍塌问题的关键是在孪生网络当中，每个epoch的时候只让其中一方进行梯度传播，自然也就只有一方进行反向传播优化参数。