无监督聚类表征学习方法之对比学习(Contrastive Learning)——simclr方法

无监督聚类表征学习方法之对比学习(Contrastive Learning)——simclr方法

1.参考论文
《A Simple Framework for Contrastive Learning of Visual Representations》

2.无监督聚类表征学习方法
主要有几种：
①自动编码器(AutoEncoder,AE);
②变分自编码器(Variational Autoencoder, VAE);
③生成对抗网络(Generative Adversarial Network，GAN);
②对比学习(Contrastive Learning);
这里主要介绍对比学习(Contrastive Learning)，又可称为对比聚类(Contrastive Cluster)

3.对比学习(Contrastive Learning)
对比学习是一种自监督学习方法，用于在没有标签的情况下，通过让模型学习哪些数据点相似或不同来学习数据集的一般特征。

4.simclr方法

如上图所示，为原始数据，然后进行两个不同的数据增强，变为和，然后通过编码器形成两个嵌入向量，在通过投影器降维形成向量，

随机抽取N批样本，并对小批的增广样本对定义对比预测任务，得到2N个数据点。

给定一个正对2，我们将一个小批中的其他2(N−1)增强例子视为负例子。

通过下面对比损失函数

 其中，是计算的余弦相似性，表示温度参数。

 

具体对比学习算法流程

 数据增强有以下操作

 最终，只保留编码器，则丢弃。

 5.对比学习应用

可用于迁移学习，无监督聚类等。