最经典的对比学习的文章是Hinton团队提出的SimCLR，该方法首先将一个实例(图像)变换成两种不同的增广实例(图像)，然后用神经网络训练得到投影表示，

ContrastiveLearning)最近一年比较火，各路大神比如Hinton、YannLeCun、KaimingHe及一流研究机构比如Facebook、Google、DeepMind，都投入其中并快速提出各种改进模型：Moco系列、SimCLR

无监督聚类表征学习方法之对比学习(ContrastiveLearning)——simclr方法1.参考论文《ASimpleFrameworkforContrastiveLearningofVisualRepresentations

官方文档地址项目地址PYTORCHLIGHTNINGDATAMODULESDataModules将数据与模型解耦分开，从而可以只关注模型本身而不用关注数据自定义DataModules时需要继承LightningModule，并实现以下几个方法def__init__(self):#一般用来指定data_dir(数据目录),定义transform,定义默认的self.dims,方便后面对数据的使用de

自监督学习——旋转篇随着MoCo,SimCLR,BYOL等工作的提出将基于对比学习框架的自监督学习推到了一个新的风口，博主也写了一篇MoCov1原理解析，如果大家想了解基于对比学习的自监督学习基本原理可以参考一下这篇博客

SimCLR摘要1、介绍2.方法2.1对比学习框架2.2大batch的训练2.3.评估协议3.对比表征学习的数据增强3.1数据增强操作的组成对于学习良好的表示是至关重要的3.2.对比学习比监督学习需要更强的数据扩充

BYOL不需要负对，而大多数对比学习方法都需要，例如SimCLR背景对比学习(contrastivelearn

来自：李rumor关注CV领域的小伙伴一定都记得Hinton团队在年初提出的SimCLR[1]，采用自监督的对比学习方法进行encoder的训练，各种碾压之前的模型。

ASimpleFrameworkforContrastiveLearningofVisualRepresentations2020年，已开源SimCLR参考文章点击这里参考文章主要思想：1、对比学习是什么

参考：https://github.com/facebookresearch/SLIP原理：相当于结合clip和simclr两个对比学习的损失，等于文本图像对比学与图像图像对比学习结合1、离线图像或者文本计算保存需要先下载预训练好的模型

generativeapproach）语音BERT语音GPT图像GPT/BERT2、预测方法（predictiveapproach）图像-预测旋转图像-预测内容3、对比学习（contrastivelearning）图像对比学习：simCLR

SimCLR是对比学习系列文章里比较容易理解的一个模型框架，这也是Hinton大神的又一篇作品，值得我们仔细阅读与学习。以下就是学习过程中的相关心得笔记，希望能够帮到你，如有错误请指正，我们一起进步！

作者丨凤舞九天来源丨PaperWeekly编辑丨极市平台导读本文主要介绍了CV领域内的无监督学习，内容主要包括Moco、Simclr、BYOL、SimSiam、SwAV、MAE、IPT，详细介绍了这些经典工作的亮点

自监督入门本人从图像分割入门自监督过程记录文章目录自监督入门前言一、自监督学习背景及应用二、对比学习1.ContrastiveLearningFramework初阶一.Ins+Disc二.InvaSpreadMotivationandContribution：Method：中阶一.MoCov1二.SimCLRv11.Abstract2.Introduction3.Method3.1TheContr

©PaperWeekly原创·作者｜上杉翔二单位｜悠闲会研究方向｜信息检索很多大佬认为，深度学习的本质就是做两件事情：RepresentationLearning（表示学习）和InductiveBiasLearning（归纳偏好学习）。在表示学习方面，如果直接对语义进行监督学习，虽然表现很好，但是它需要很多的样本并且往往是需要对特定的任务进行设计，很难具有迁移性。所以难怪各位大佬们都纷纷为自监督学

很多大佬认为，深度学习的本质就是做两件事情：RepresentationLearning（表示学习）和InductiveBiasLearning（归纳偏好学习）。在表示学习方面，如果直接对语义进行监督学习，虽然表现很好，但是它需要很多的样本并且往往是需要对特定的任务进行设计，很难具有迁移性。所以难怪各位大佬们都纷纷为自监督学习站台，自监督是未来！自监督学习有大类方法，一个是生成方法一个对比方法，如

后面SimCLR,MoCo,BYOL,SwAV等主流自监督学习算法相继被提出，自监督学习领域呈现出百花齐放，百家争鸣空前繁荣的景象。2021年末MAE更是将自监督学习带到了一个前所未有的新高度。

概要与之前工作SimCLR和MoCo不同，最近的一篇来自DeepMind的论文"Boo

摘要文中通过在MoCo框架中实现SimCLR的两个设计改进来验证它们的有效性。

其实之前读simclr那篇论文的时候已经涉及到一些moco的内容，现在的moco已经更新到了v3。moco是一种典型的contrastiveunsupervisedlearning。

对比学习对比学习的概念很早就有了，它是无监督学习的一种方法，但真正成为热门方向是在2020年的2月份，Hinton组的TingChen提出了SimCLR，用该框架训练出的表示以7%的提升刷爆了之前的SOTA

前面讲到的MOCO、SimCLR把优化的方向主要放在增加负例上，费时费力，SwAV来了个返璞归真。。

Hinton团队力作：SimCLR系列深

针对Transformer在自监督学习框架中存在的训练不稳定问题，提出了一种简单而有效的技巧：RandomPatchProjection，它不仅适用于MoCoV3框架，同样适用于其他自监督学习框架(比如SimCLR

ContrastiveLearning:SimCLR导入包和权重DataAugmentationBaseEncoderandProjectionHeadSimCLR:ContrastiveLosssimclr_loss_naivevectorizedversionImple

使用一个MLP投影头和更多的数据增强——建立了比Hinton前一久的SimCLR更强的基准，并且不需要大量的训练。对比式无监督学习最近取得了令人鼓舞的进展，例如动量对比

‍‍‍‍‍‍©PaperWeekly原创·作者|海晨威研究方向|自然语言处理‍‍‍‍‍‍2020年的Moco和SimCLR等，掀起了对比学习在CV领域的热潮，2021年的SimCSE，则让NLP也乘上了对比学习的东风

作者：李明达来自：哈工大SCIR1.引言近两年，对比学习（ContrastiveLearning）在计算机视觉领域（CV）掀起了一波浪潮，MoCo[1]、SimCLR[2]、BYOL[3]、SimSiam

点击上方“CVer”，选择加"星标"置顶重磅干货，第一时间送达作者|陈大鑫本文转载自：AI科技评论近日，有位外国网友在Reddit上发帖称利用metacurate.io持续读取了2020年度arxiv上有关AI、机器学习、NLP和数据科学的大量论文资源。到2020年末，metacurate.io总共检索了94,000多个论文链接。然后，汇总到一起，并根据7天的社交媒体热度对所有论文进行热度评分，最

BYOL《BootstrapYourOwnLatentANewApproachtoSelf-SupervisedLearning》之前不管是MoCO或者SimCLR都是有正负样本的，BYOL就已经没有负样本也能做对比学习

2.1“Few-shot”Learning2.2“One-shot”Learning2.3“Zero-shot”Learning3GPT模型在语音和影像上的应用3.1Image——SimCLR3.2Image-BYOL3.3SpeechApplication1

https://arxiv.org/abs/2006.07733开源代码：https://github.com/deepmind/deepmind-research/tree/master/byolMoCo,SimCLR

BYOL论文笔记(BootstrapYourOwnLatentANewApproachtoSelf-SupervisedLearning)一、基本架构二、BYOL实现细节数据增强：使用在SimCLR中同样的一系列数据增强

文章目录前言一、主体思想二、对比学习框架三.正负例生成方法四.模型五.对比损失5.1基于能量模型的损失函数5.2基于NCE的损失函数5.3互信息损失6.经典的论文例子6.1CPC6.2simCLR6.3moco

论文笔记《ASimpleFrameworkforContrastiveLearningofVisualRepresentations》（SimCLR）对比学习：代理任务+目标函数。

目前主要存在3种防止孪生网络崩溃的策略：一、对比学习，例如SimCLR，负对相斥，正对相吸，负样本对排除了来自解空间的恒定输

SimCLR论文总结：构建负样例的方式在对比学习中很重要。主要探究了图像变换、batchsize对于学习到的表示的影响。

这篇论文相比于之前的SimCLR、BLOY,不需要negativesamplepairs、largebatches、momentumencoders,可以说是将基于孪生网络的自监督模型简化到了极

文章目录前言SimCLR简述实验数据增强对性能的影响Unsupervisedcontrastivelearningbenefits(more)frombiggermodelsAnonlinearprojectionheadimprovestherepresentationqualityofthelayerbeforeitContrastivelearningbenefits

SimCLR：ASimpleFrameworkforContrastiveLearningofVisualRepresentations论文笔记 1ABSTRACTSimCLR：用于视觉表征的对比学习框架

Wesimplifyrecentlyproposedcontrastiveself-supervisedlearningalgorithmswithoutrequiringspecializedarchitecturesoramemorybank.compositionofdataaugmentationsplaysacriticalroleindefiningeffectivepredictiv

Github代码复现——自监督学习SimCLR跑自己的数据集（TensorFlow2）代码链接：添加链接描述框架用的是tensorflow2，这里就不详细说明SimCLR的原理和环境配置了。

.*2019)2.SIMCLR([GeoffreyHinton](https://arxiv.org/pdf/2002.05709.pdf)*etal*2020)3.MOCO([KaimingHe](https

文章目录一、MoCo1.1导言1.1.1前言1.1.2摘要1.1.3导言1.2相关工作1.2.1SimCLR：端到端的学习方式（InvaSpread也是）1.2.2memorybank（InstDisc

本文将从SimCLR，MoCo,BYOL等多个模型为切入点做一个自监督学习的总结，相对于监督学习，这里的自监督任务是无需要标签的学习，可以很好的进行特征抽取模型训练这样很好的减少人工工作量,其泛化性能强

ImprovedBaselineswithMomentumContrastiveLearning摘要对比无监督学习最近显示出令人鼓舞的进展，例如在MomentumContrast(MoCo)和SimCLR

在CV领域涌现了如SIMCLR、MOCO、SwAV、DINO、MoBY、MAE等一系列工作。其中MAE的表现尤为惊艳，大家都被M

介绍英文题目：ASimpleFrameworkforContrastiveLearningofVisualRepresentations中文题目：视觉表征对比学习的简单框架论文地址：https://arxiv.org/abs/2002.05709v2领域：深度学习，知识表示，半监督学习，对比学习发表时间：2020作者：TingChen，Hinton团队，GoogleResearch出处：ICML被

会议主题：对比学习涉及算法：SimCLR：端到端对比学习MOCOv2BYOL文章以及论文：图解SimCLR框架-知乎图解SimCLR框架，用对比学习得到一个好的视觉预训练模型_ronghuaiyang的博客

SimCLR笔记文章目录SimCLR笔记一.对该问题进行建模,总共分为三步:1.1相似和不同图像的样本1.2了解图像所表示的内容的能力1.3量化两个图像是否相似的能力二.SimCLR框架的方法2.1算法框架