simclr 第2页

从对比学习(Contrastive Learning)到对比聚类(Contrastive Clustering)

最经典的对比学习的文章是Hinton团队提出的SimCLR，该方法首先将一个实例(图像)变换成两种不同的增广实例(图像)，然后用神经网络训练得到投影表示，

c2a2o2·2023-01-10 12:09

对比学习（Contrastive Learning）:研究进展精要

ContrastiveLearning)最近一年比较火，各路大神比如Hinton、YannLeCun、KaimingHe及一流研究机构比如Facebook、Google、DeepMind，都投入其中并快速提出各种改进模型：Moco系列、SimCLR

c2a2o2·2023-01-10 12:09

无监督聚类表征学习方法之对比学习(Contrastive Learning)——simclr方法

无监督聚类表征学习方法之对比学习(ContrastiveLearning)——simclr方法1.参考论文《ASimpleFrameworkforContrastiveLearningofVisualRepresentations

没用的阿鸡·2023-01-10 12:38

PYTORCH LIGHTNING DATAMODULES及SimCLR源码解读

官方文档地址项目地址PYTORCHLIGHTNINGDATAMODULESDataModules将数据与模型解耦分开，从而可以只关注模型本身而不用关注数据自定义DataModules时需要继承LightningModule，并实现以下几个方法def__init__(self):#一般用来指定data_dir(数据目录),定义transform,定义默认的self.dims,方便后面对数据的使用de

xjunjin·2023-01-06 13:26

自监督学习——旋转篇

自监督学习——旋转篇随着MoCo,SimCLR,BYOL等工作的提出将基于对比学习框架的自监督学习推到了一个新的风口，博主也写了一篇MoCov1原理解析，如果大家想了解基于对比学习的自监督学习基本原理可以参考一下这篇博客

PyBigStar·2022-12-29 02:40

A Simple Framework for Contrastive Learning of Visual Representations论文精读

SimCLR摘要1、介绍2.方法2.1对比学习框架2.2大batch的训练2.3.评估协议3.对比表征学习的数据增强3.1数据增强操作的组成对于学习良好的表示是至关重要的3.2.对比学习比监督学习需要更强的数据扩充

Raphael9900·2022-12-24 13:46

BYOL论文精读

BYOL不需要负对，而大多数对比学习方法都需要，例如SimCLR背景对比学习(contrastivelearn

点PY·2022-12-24 10:24

给BERT加一个loss就能稳定提升？斯坦福+Facebook最新力作！

来自：李rumor关注CV领域的小伙伴一定都记得Hinton团队在年初提出的SimCLR[1]，采用自监督的对比学习方法进行encoder的训练，各种碾压之前的模型。

zenRRan·2022-12-23 14:48

A Simple Framework for Contrastive Learning of Visual Representations

ASimpleFrameworkforContrastiveLearningofVisualRepresentations2020年，已开源SimCLR参考文章点击这里参考文章主要思想：1、对比学习是什么

每天都想要出去玩鸭~·2022-12-22 13:35

SLIP 多模态文本图像对比学与图像图像对比学习结合

参考：https://github.com/facebookresearch/SLIP原理：相当于结合clip和simclr两个对比学习的损失，等于文本图像对比学与图像图像对比学习结合1、离线图像或者文本计算保存需要先下载预训练好的模型

loong_XL·2022-12-22 06:35

【学习】语音和图像上的自监督模型

generativeapproach）语音BERT语音GPT图像GPT/BERT2、预测方法（predictiveapproach）图像-预测旋转图像-预测内容3、对比学习（contrastivelearning）图像对比学习：simCLR

Raphael9900·2022-12-20 19:33

SimCLR-[论文学习笔记]

SimCLR是对比学习系列文章里比较容易理解的一个模型框架，这也是Hinton大神的又一篇作品，值得我们仔细阅读与学习。以下就是学习过程中的相关心得笔记，希望能够帮到你，如有错误请指正，我们一起进步！

阿飞没有花福蝶·2022-12-20 05:44

一文详解图像中的无监督学习

作者丨凤舞九天来源丨PaperWeekly编辑丨极市平台导读本文主要介绍了CV领域内的无监督学习，内容主要包括Moco、Simclr、BYOL、SimSiam、SwAV、MAE、IPT，详细介绍了这些经典工作的亮点

Tom Hardy·2022-12-16 03:49

自监督入门（对比学习:INS+Disc，InvaSpread，SimCLR，MoCo系列）

自监督入门本人从图像分割入门自监督过程记录文章目录自监督入门前言一、自监督学习背景及应用二、对比学习1.ContrastiveLearningFramework初阶一.Ins+Disc二.InvaSpreadMotivationandContribution：Method：中阶一.MoCov1二.SimCLRv11.Abstract2.Introduction3.Method3.1TheContr

lryjy·2022-12-13 21:47

盘点近期大热对比学习模型：MoCo/SimCLR/BYOL/SimSiam

©PaperWeekly原创·作者｜上杉翔二单位｜悠闲会研究方向｜信息检索很多大佬认为，深度学习的本质就是做两件事情：RepresentationLearning（表示学习）和InductiveBiasLearning（归纳偏好学习）。在表示学习方面，如果直接对语义进行监督学习，虽然表现很好，但是它需要很多的样本并且往往是需要对特定的任务进行设计，很难具有迁移性。所以难怪各位大佬们都纷纷为自监督学

PaperWeekly·2022-12-13 21:46

CV-对比学习-模型：MoCo/SimCLR/BYOL/SimSiam

很多大佬认为，深度学习的本质就是做两件事情：RepresentationLearning（表示学习）和InductiveBiasLearning（归纳偏好学习）。在表示学习方面，如果直接对语义进行监督学习，虽然表现很好，但是它需要很多的样本并且往往是需要对特定的任务进行设计，很难具有迁移性。所以难怪各位大佬们都纷纷为自监督学习站台，自监督是未来！自监督学习有大类方法，一个是生成方法一个对比方法，如

u013250861·2022-12-13 21:44

自监督学习系列（一）：基于 Pretext Task

后面SimCLR,MoCo,BYOL,SwAV等主流自监督学习算法相继被提出，自监督学习领域呈现出百花齐放，百家争鸣空前繁荣的景象。2021年末MAE更是将自监督学习带到了一个前所未有的新高度。

OpenMMLab·2022-12-13 18:06

不需要负样本对的SOTA的自监督学习方法：BYOL

概要与之前工作SimCLR和MoCo不同，最近的一篇来自DeepMind的论文"Boo

ronghuaiyang·2022-12-13 12:17

自监督模型---MoCov2

摘要文中通过在MoCo框架中实现SimCLR的两个设计改进来验证它们的有效性。

木羊子羽·2022-12-13 12:16

【研一小白论文精读】《MoCo》

其实之前读simclr那篇论文的时候已经涉及到一些moco的内容，现在的moco已经更新到了v3。moco是一种典型的contrastiveunsupervisedlearning。

Titus W·2022-12-13 12:43

无监督对比学习之MOCO 《Momentum Contrast for Unsupervised Visual Representation Learning》

对比学习对比学习的概念很早就有了，它是无监督学习的一种方法，但真正成为热门方向是在2020年的2月份，Hinton组的TingChen提出了SimCLR，用该框架训练出的表示以7%的提升刷爆了之前的SOTA

我想静静，·2022-12-10 23:58

无监督对比学习之假装自己有监督的SwAV

前面讲到的MOCO、SimCLR把优化的方向主要放在增加负例上，费时费力，SwAV来了个返璞归真。。

我想静静，·2022-12-10 23:58

【CV】深度了解自监督学习，就看这篇解读！SimMIM：掩码图像建模的简单框架...

Hinton团队力作：SimCLR系列深

风度78·2022-12-10 11:23

MoCoV3：何恺明团队新作！解决Transformer自监督训练不稳定问题！

针对Transformer在自监督学习框架中存在的训练不稳定问题，提出了一种简单而有效的技巧：RandomPatchProjection，它不仅适用于MoCoV3框架，同样适用于其他自监督学习框架(比如SimCLR

夕小瑶·2022-12-10 06:29

Self-Supervised Learning

ContrastiveLearning:SimCLR导入包和权重DataAugmentationBaseEncoderandProjectionHeadSimCLR:ContrastiveLosssimclr_loss_naivevectorizedversionImple

iwill323·2022-12-06 17:47

Facebook AI何恺明等最新研究MoCo(动量对比学习)第二版，超越Hinton的SimCLR，刷新SOTA准确率...

深度学习技术前沿·2022-12-06 12:12

细节满满！理解对比学习和SimCSE，就看这6个知识点

‍‍‍‍‍‍©PaperWeekly原创·作者|海晨威研究方向|自然语言处理‍‍‍‍‍‍2020年的Moco和SimCLR等，掀起了对比学习在CV领域的热潮，2021年的SimCSE，则让NLP也乘上了对比学习的东风

PaperWeekly·2022-12-03 16:59

在文本和图像上的对比学习小综述~

作者：李明达来自：哈工大SCIR1.引言近两年，对比学习（ContrastiveLearning）在计算机视觉领域（CV）掀起了一波浪潮，MoCo[1]、SimCLR[2]、BYOL[3]、SimSiam

zenRRan·2022-12-02 17:23

YOLOv4、SimCLR和GPT-3均上榜

点击上方“CVer”，选择加"星标"置顶重磅干货，第一时间送达作者|陈大鑫本文转载自：AI科技评论近日，有位外国网友在Reddit上发帖称利用metacurate.io持续读取了2020年度arxiv上有关AI、机器学习、NLP和数据科学的大量论文资源。到2020年末，metacurate.io总共检索了94,000多个论文链接。然后，汇总到一起，并根据7天的社交媒体热度对所有论文进行热度评分，最

Amusi（CVer）·2022-12-02 11:08

【研一小白论文精读】《Broaden Your Views for Self-Supervised Video Learning》

BYOL《BootstrapYourOwnLatentANewApproachtoSelf-SupervisedLearning》之前不管是MoCO或者SimCLR都是有正负样本的，BYOL就已经没有负样本也能做对比学习

Titus W·2022-11-30 22:26

【学习笔记】李宏毅2021春机器学习课程第7.3节：自监督学习（三）

2.1“Few-shot”Learning2.2“One-shot”Learning2.3“Zero-shot”Learning3GPT模型在语音和影像上的应用3.1Image——SimCLR3.2Image-BYOL3.3SpeechApplication1

Harryline-lx·2022-11-30 22:53

【论文阅读】自监督学习--NIPS2020：Bootstrap Your Own Latent (BYOL, DeepMind)

https://arxiv.org/abs/2006.07733开源代码：https://github.com/deepmind/deepmind-research/tree/master/byolMoCo,SimCLR

不瘦8斤的妥球球饼·2022-11-30 22:23

BYOL论文笔记(Bootstrap Your Own Latent A New Approach to Self-Supervised Learning)

BYOL论文笔记(BootstrapYourOwnLatentANewApproachtoSelf-SupervisedLearning)一、基本架构二、BYOL实现细节数据增强：使用在SimCLR中同样的一系列数据增强

Sunny_fairness·2022-11-30 22:15

对比学习基础知识

文章目录前言一、主体思想二、对比学习框架三.正负例生成方法四.模型五.对比损失5.1基于能量模型的损失函数5.2基于NCE的损失函数5.3互信息损失6.经典的论文例子6.1CPC6.2simCLR6.3moco

@sea@·2022-11-30 18:32

论文笔记《A Simple Framework for Contrastive Learning of Visual Representations》（SimCLR）

论文笔记《ASimpleFrameworkforContrastiveLearningofVisualRepresentations》（SimCLR）对比学习：代理任务+目标函数。

zx最帅·2022-11-25 00:40

CVPR 2021 Exploring Simple Siamese Representation Learning

目前主要存在3种防止孪生网络崩溃的策略：一、对比学习，例如SimCLR，负对相斥，正对相吸，负样本对排除了来自解空间的恒定输

smile909·2022-11-25 00:10

论文阅读——SimCLR：A Simple Framework for Contrastive Learning of Visual Representations

SimCLR论文总结：构建负样例的方式在对比学习中很重要。主要探究了图像变换、batchsize对于学习到的表示的影响。

coding小白·2022-11-25 00:40

[论文阅读 2020 Arxiv 自监督对比学习]Exploring Simple Siamese Representation Learning

这篇论文相比于之前的SimCLR、BLOY,不需要negativesamplepairs、largebatches、momentumencoders,可以说是将基于孪生网络的自监督模型简化到了极

lingqing97·2022-11-25 00:09

深度学习(自监督:SimCLR)——A Simple Framework for Contrastive Learning of Visual Representations

文章目录前言SimCLR简述实验数据增强对性能的影响Unsupervisedcontrastivelearningbenefits(more)frombiggermodelsAnonlinearprojectionheadimprovestherepresentationqualityofthelayerbeforeitContrastivelearningbenefits

菜到怀疑人生·2022-11-25 00:39

SimCLR：A Simple Framework for Contrastive Learning of Visual Representations 论文笔记

SimCLR：ASimpleFrameworkforContrastiveLearningofVisualRepresentations论文笔记 1ABSTRACTSimCLR：用于视觉表征的对比学习框架

New WR·2022-11-25 00:38

A Simple Framework for Contrastive Learning of Visual Representations[论文学习] SimCLR

Wesimplifyrecentlyproposedcontrastiveself-supervisedlearningalgorithmswithoutrequiringspecializedarchitecturesoramemorybank.compositionofdataaugmentationsplaysacriticalroleindefiningeffectivepredictiv

smile_point·2022-11-25 00:38

Github代码复现——SimCLR跑自己的数据集（TensorFlow2）

Github代码复现——自监督学习SimCLR跑自己的数据集（TensorFlow2）代码链接：添加链接描述框架用的是tensorflow2，这里就不详细说明SimCLR的原理和环境配置了。

拖延癌晚期患者7777·2022-11-24 13:40

理解对比表示学习(Contrastive Learning)

.*2019)2.SIMCLR([GeoffreyHinton](https://arxiv.org/pdf/2002.05709.pdf)*etal*2020)3.MOCO([KaimingHe](https

xxxxxxxxxx13·2022-11-23 08:41

李沐论文精读系列三：MoCo、对比学习综述（MoCov1/v2/v3、SimCLR v1/v2、DINO等）

文章目录一、MoCo1.1导言1.1.1前言1.1.2摘要1.1.3导言1.2相关工作1.2.1SimCLR：端到端的学习方式（InvaSpread也是）1.2.2memorybank（InstDisc

神洛华·2022-11-19 18:19

对比学习

本文将从SimCLR，MoCo,BYOL等多个模型为切入点做一个自监督学习的总结，相对于监督学习，这里的自监督任务是无需要标签的学习，可以很好的进行特征抽取模型训练这样很好的减少人工工作量,其泛化性能强

blackmanba_084b·2022-11-10 14:17

Improved Baselines with Momentum Contrastive Learning

ImprovedBaselineswithMomentumContrastiveLearning摘要对比无监督学习最近显示出令人鼓舞的进展，例如在MomentumContrast(MoCo)和SimCLR

CodeWanted·2022-10-03 07:51

EasyCV带你复现更好更快的自监督算法-FastConvMAE

在CV领域涌现了如SIMCLR、MOCO、SwAV、DINO、MoBY、MAE等一系列工作。其中MAE的表现尤为惊艳，大家都被M

·2022-09-23 11:19

论文阅读_对比学习_SimCLR

介绍英文题目：ASimpleFrameworkforContrastiveLearningofVisualRepresentations中文题目：视觉表征对比学习的简单框架论文地址：https://arxiv.org/abs/2002.05709v2领域：深度学习，知识表示，半监督学习，对比学习发表时间：2020作者：TingChen，Hinton团队，GoogleResearch出处：ICML被

xieyan0811·2022-08-21 17:19

研究会2022.07.22--对比学习

会议主题：对比学习涉及算法：SimCLR：端到端对比学习MOCOv2BYOL文章以及论文：图解SimCLR框架-知乎图解SimCLR框架，用对比学习得到一个好的视觉预训练模型_ronghuaiyang的博客

理心炼丹·2022-07-25 16:15

SimCLR笔记

SimCLR笔记文章目录SimCLR笔记一.对该问题进行建模,总共分为三步:1.1相似和不同图像的样本1.2了解图像所表示的内容的能力1.3量化两个图像是否相似的能力二.SimCLR框架的方法2.1算法框架

deyiwang89·2022-07-12 07:16

推荐频道

simclr