论文阅读——SimCLR：A Simple Framework for Contrastive Learning of Visual Representations

SimCLR论文总结：

构建负样例的方式在对比学习中很重要。主要探究了图像变换、batchsize对于学习到的表示的影响。
构造负样本的方法是通过两次数据增强，产生2N-2个负样本
具体流程：
假设每个batch中有两张图片（dog和chair），以dog为例

• 对一张dog进行随机增强，产生两张图像
• 这两张增强之后的图像送到网络f中，在这里产生一个特征向量h
• h经过MLP（一个全连接网络）也就是投影操作g，产生z
• z用于计算对比loss
• 想要的表示是h，最终的特征提取器是f

注意的是：

• 在最终使用的时候，MLP是舍弃的，实验发现在训练过程中，通过z计算loss获得的h更好，MLP仅仅是个辅助训练的过程
• 上述过程是无监督的
• 损失函数需要完成的两件事，一是令两张增强之后的dog图像距离近，二是令dog和chair的距离足够远（“同性相吸，异性相斥”）

参考链接：
https://zhuanlan.zhihu.com/p/142951091
https://zhuanlan.zhihu.com/p/258958247