Simple Siamese

Exploring Simple Siamese Representation Learning

 

浅谈一下对该论文的理解：

作者认为，孪生体系结构可能是相关方法（BYOL MOCO SIMclr)共同成功的重要原因。 孪生网络可以自然地引入归纳偏差来建模不变性，因为按定义“不变性”意味着对同一概念的两次观察应产生相同的输出。权重共享Siamese网络可以对不变性进行建模。 更复杂的转换（例如增强）。 我们希望我们的探索将激励人们重新思考孪生体系结构在无监督表示学习中的基本作用。

 

简要介绍以下孪生网络：

 

介绍本文的主要架构----- SimSiam architecture

上述中的放大指的是使用数据增广，对输入的图像做augmentation。

 

代码部分

本文使用负余弦相似性作为损失：

从代码中可以看出，p1指的是通过predictor得到的一个向量，z2指的是由右侧的编码器encoder编码后得到的向量。

对称损失：

为什么作者使用对称损失呢？

答案：loss的对称性也不是避免collapsing的原因。对称实际上是对每一个图片多进行了一次预测，可以提升准确率