MOCO 第3页

大概是全网最详细的何恺明团队顶作MoCo系列解读...(完结篇)

kaiming的MoCo让自监督学习成为深度学习热门之一，YannLecun也在AAAI上讲Self-SupervisedLearning是未来的大势所趋。

机器学习社区·2022-12-16 12:44

一文详解图像中的无监督学习

作者丨凤舞九天来源丨PaperWeekly编辑丨极市平台导读本文主要介绍了CV领域内的无监督学习，内容主要包括Moco、Simclr、BYOL、SimSiam、SwAV、MAE、IPT，详细介绍了这些经典工作的亮点

Tom Hardy·2022-12-16 03:49

MoCo v1 文献研究 [自监督学习]

✅个人简介：南京邮电大学，计算机科学与技术，在读本科更新笔录：2022/2/7改动：文中的所有“反向传播”改成“随机梯度下降算法(SGD)”。原因：当时把“BP算法”和“SGD算法”混淆成一个东西了。2022/2/12改动：又经历一段时间的学习后，发现“SGD”是一种“优化器”，文中更新编码器的权重的方式还是通过“反向传播”。文章目录Ⅰ.AbstractⅡ.IntroductionⅢ.Relate

一支王同学·2022-12-16 00:21

自监督入门（对比学习:INS+Disc，InvaSpread，SimCLR，MoCo系列）

自监督入门本人从图像分割入门自监督过程记录文章目录自监督入门前言一、自监督学习背景及应用二、对比学习1.ContrastiveLearningFramework初阶一.Ins+Disc二.InvaSpreadMotivationandContribution：Method：中阶一.MoCov1二.SimCLRv11.Abstract2.Introduction3.Method3.1TheContr

lryjy·2022-12-13 21:47

盘点近期大热对比学习模型：MoCo/SimCLR/BYOL/SimSiam

©PaperWeekly原创·作者｜上杉翔二单位｜悠闲会研究方向｜信息检索很多大佬认为，深度学习的本质就是做两件事情：RepresentationLearning（表示学习）和InductiveBiasLearning（归纳偏好学习）。在表示学习方面，如果直接对语义进行监督学习，虽然表现很好，但是它需要很多的样本并且往往是需要对特定的任务进行设计，很难具有迁移性。所以难怪各位大佬们都纷纷为自监督学

PaperWeekly·2022-12-13 21:46

moco系列学习总结

MoCo系列学习总结刚开始博客，写的不好请多多包含。如有错误，请指出，感谢。

剁椒鱼头汤·2022-12-13 21:45

CV-对比学习-模型：MoCo/SimCLR/BYOL/SimSiam

很多大佬认为，深度学习的本质就是做两件事情：RepresentationLearning（表示学习）和InductiveBiasLearning（归纳偏好学习）。在表示学习方面，如果直接对语义进行监督学习，虽然表现很好，但是它需要很多的样本并且往往是需要对特定的任务进行设计，很难具有迁移性。所以难怪各位大佬们都纷纷为自监督学习站台，自监督是未来！自监督学习有大类方法，一个是生成方法一个对比方法，如

u013250861·2022-12-13 21:44

对比学习论文综述(part1、2)

对比学习论文综述(part1|2)18年MOCO开始对比学习在CV领域发展历程大概可以分为四个阶段1、百花齐放InstDisc（instancediscrimination）CPCCMC在这个阶段中，方法

Jorko的浪漫宇宙·2022-12-13 21:13

自监督学习系列（一）：基于 Pretext Task

前言2019年MoCo的横空出世，掀起了视觉自监督学习的热潮。后面SimCLR,MoCo,BYOL,SwAV等主流自监督学习算法相继被提出，自监督学习领域呈现出百花齐放，百家争鸣空前繁荣的景象。

OpenMMLab·2022-12-13 18:06

MoCo论文详解

MoCo论文详解–潘登同学的深度学习笔记文章目录MoCo论文详解--潘登同学的深度学习笔记前言整体架构对比学习大而一致的字典实验LinearClassificationProtocol其他下游任务前言MoCo

PD我是你的真爱粉·2022-12-13 12:49

【论文视频】MoCo 论文逐段精读. CVPR 2020 zui佳论文提名【论文精读】

论文内容1.题目和作者2.摘要3.引言4.结论5.相关工作6.MoCo方法7.实验8.总结3.参考资料1.四个问题解决什么问题做无监督的表征学习用什么方法解决本文提出了MoCo去做无监督的表征学习，虽然是基于对比学习的

I"ll carry you·2022-12-13 12:48

【视频-文字版】MoCo 论文逐段精读【论文精读】

文章目录0前言0.1介绍什么是对比学习1题目和作者2、摘要3、引言4、结论5、相关工作**损失函数：判别式、生成式、对比学习、对抗学习**代理任务6MoCo方法3.3代理任务MoCo伪代码：7、实验8、

I"ll carry you·2022-12-13 12:48

moco的使用，moco测试前端页面、moco的启动、moco前端测试工具、moco的例子

moco的使用，moco测试前端页面、moco的启动、moco前端测试工具、moco的例子moco的介绍moco的启动moco例子注意不带参数的get请求返回字符串带参数的get请求返回json文件不带参

用生命在耍帅ㅤ·2022-12-13 12:18

不需要负样本对的SOTA的自监督学习方法：BYOL

概要与之前工作SimCLR和MoCo不同，最近的一篇来自DeepMind的论文"Boo

ronghuaiyang·2022-12-13 12:17

（转）关于MOCO的工作原理

moco是一个简单搭建模拟服务器的程序库/工具，主要用于测试集成（并采用了热部署）。

被宠爱的微微·2022-12-13 12:17

MoCo论文精读

文章目录1MoCo论文阅读1.1各类监督学习1.2对比学习1.3摘要1.4引言1.5结论1.6方法2参考资料1MoCo论文阅读题目：MomentumContrastforUnsupervisedVisualRepresentationLearning

Rui@·2022-12-13 12:47

自监督模型---MoCov2

摘要文中通过在MoCo框架中实现SimCLR的两个设计改进来验证它们的有效性。

木羊子羽·2022-12-13 12:16

自监督模型---MoCo

MomentumContrastforUnsupervisedVisualRepresentationLearning开源代码：PyTorchimplementationofMoCo摘要该论文提出了动量对比度(MoCo

木羊子羽·2022-12-13 12:16

ICCV2021｜性能优于何恺明团队MoCo v2，DetCo：为目标检测定制任务的对比学习

点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达作者丨小马编辑丨极市平台导读作者专为目标检测任务“量身定制”了对比学习框架DetCo，在PASCALVOC数据集上，DetCo在100个epoch时的性能就与MoCoV2800个epoch的性能差不多，最终性能优于MaskRCNN-C4/FPN/RetinaNet等监督学习的方法。【写在前面】深度学习两巨头Bengio和LeCun在ICLR2

Tom Hardy·2022-12-13 12:45

MoCo 论文详解

目录一、自监督学习和对比学习1、自监督学习2、对比学习二、MoCo论文1、模型流程2、本文创新点1）队列作为字典2）动量更新3、与end-to-end和memorybank的比较1）end-to-end2

flow筝·2022-12-13 12:15

实现moco模拟https请求

moco环境搭建完毕，只能使用http请求，无法使用https的请求。

enjoyit365·2022-12-13 12:44

MoCo V1：视觉领域也能自监督啦

MomentumContrastforUnsupervisedVisualRepresentationLearning），到前几天挂在arxiv上面的MoCoV3（AnEmpiricalStudyofTrainingSelf-SupervisedVisualTransformers），MoCo

ZOMI酱·2022-12-13 12:44

【研一小白论文精读】《MoCo》

其实之前读simclr那篇论文的时候已经涉及到一些moco的内容，现在的moco已经更新到了v3。moco是一种典型的contrastiveunsupervisedlearning。

Titus W·2022-12-13 12:43

[论文阅读]（对比学习系列）

UnsupervisedEmbeddingLearningviaInvariantandSpreadingInstanceFeature[2018]CPCCMC第二阶段：CV双雄[2020](CVPR)MoCo_v1

小黑子和篮球·2022-12-13 11:17

无监督对比学习之MOCO 《Momentum Contrast for Unsupervised Visual Representation Learning》

无监督学习如果可以建立一种通用的无监督模型，经过海量无标签数据的学习后，可以习得一个强大的特征提取器，在面对新的任务，尤其是医疗影像等小样本任务时，也能提取到较好的特征。这就是无监督学习的意义。对比学习对比学习的概念很早就有了，它是无监督学习的一种方法，但真正成为热门方向是在2020年的2月份，Hinton组的TingChen提出了SimCLR，用该框架训练出的表示以7%的提升刷爆了之前的SOTA

我想静静，·2022-12-10 23:58

无监督对比学习之假装自己有监督的SwAV

前面讲到的MOCO、SimCLR把优化的方向主要放在增加负例上，费时费力，SwAV来了个返璞归真。。

我想静静，·2022-12-10 23:58

202203Self-Supervised Pretraining and Controlled Augmentation Improve RareWildlife Recognition inUAV

目录一、key-word1.1Pretexttask1.2MoCo1.3CLD二、SSL(self-supervisedlearning)framework2.1Augmentation2.2KuzikusWildlifeDatasetPre-training

WRStop·2022-12-08 00:03

Facebook AI何恺明等最新研究MoCo(动量对比学习)第二版，超越Hinton的SimCLR，刷新SOTA准确率...

FacebookAI研究团队的陈鑫磊、樊昊棋、RossGirshick、何恺明等人提出了第二版动量对比（MoCo）的无监督训练方法。

深度学习技术前沿·2022-12-06 12:12

对比学习系列（二）---MoCo 系列

MoCo系列文章目录MoCo系列自监督MoCoV1前言动量对比DictionaryasaqueueMomentumupdate代理任务ShufflingBN实验MoCoV2MoCoV3参考自监督监督学习在视觉领域应用广泛且成熟

陶将·2022-12-06 12:41

凯明大神 moco v3

文章链接在这：https://arxiv.org/abs/2104.02057针对训练过程中的不稳定性从batch_size、lr、优化做了分析,关注最后面的figure84.2提出了atrick来提升稳定性

崩溃了、·2022-12-06 12:11

MoCo V3：视觉自监督迎来Transformer

MomentumContrastforUnsupervisedVisualRepresentationLearning），到前几天挂在arxiv上面的MoCoV3（AnEmpiricalStudyofTrainingSelf-SupervisedVisualTransformers），MoCo

ZOMI酱·2022-12-06 12:40

多个任务超越moco v3！OPERA：监督学习和自监督统一的框架！

大家好，今天和大家分享一篇基于何恺明团队提出moco优化的算法。提出了一个监督学习和自监督统一的框架，表征能力更强，在多个下游任务上性能超越了mocov3。

flyfor2013·2022-12-06 12:39

详解自监督发展趋势! 何恺明连获三年CVPR最高引用的秘诀是?

最近三年引用量最高的论文竟然都是来自监督学习领域的，且三篇论文的作者都包括FacebookAIResearch的何恺明（以下引用量均为2022.11.29.查询自GoogleScholar）：（1）CVPR2020引用量最高论文为MoCo

SiameseAge·2022-12-04 12:34

MAE 自监督算法介绍和基于 EasyCV 的复现

在CV领域涌现了如SwAV、MOCO、DINO、MoB

阿里云云栖号·2022-12-04 06:08

细节满满！理解对比学习和SimCSE，就看这6个知识点

‍‍‍‍‍‍©PaperWeekly原创·作者|海晨威研究方向|自然语言处理‍‍‍‍‍‍2020年的Moco和SimCLR等，掀起了对比学习在CV领域的热潮，2021年的SimCSE，则让NLP也乘上了对比学习的东风

PaperWeekly·2022-12-03 16:59

# [Contrastive Learning] Fast-MoCo

作者发现使用目前的对比学习方法，想要得到理想的效果往往需要很长的训练时间(比方说MoCo需要训练800个epoch)。

不稳定程序制造机·2022-12-02 18:14

在文本和图像上的对比学习小综述~

作者：李明达来自：哈工大SCIR1.引言近两年，对比学习（ContrastiveLearning）在计算机视觉领域（CV）掀起了一波浪潮，MoCo[1]、SimCLR[2]、BYOL[3]、SimSiam

zenRRan·2022-12-02 17:23

自监督学习-对比学习-MoCo Momentum Contrast 阅读笔记

MomentumContrastforUnsupervisedVisualRepresentationLearning原文地址：CVPR2020OpenAccessRepositoryhttps://openaccess.thecvf.com/content_CVPR_2020/html/He_Momentum_Contrast_for_Unsupervised_Visual_Representa

山城火锅有点甜·2022-12-01 09:59

自监督学习-MoCo-论文笔记

动量的理解即是指数移动平均（EMA），公式理解：moco中利用动量来缓慢的更新编码器，这样处理的好处是编码器学习的特征尽可能的保持一致（一致性）。

xueliang_·2022-12-01 09:57

【研一小白论文精读】《Broaden Your Views for Self-Supervised Video Learning》

BYOL《BootstrapYourOwnLatentANewApproachtoSelf-SupervisedLearning》之前不管是MoCO或者SimCLR都是有正负样本的，BYOL就已经没有负样本也能做对比学习

Titus W·2022-11-30 22:26

对比学习基础知识

文章目录前言一、主体思想二、对比学习框架三.正负例生成方法四.模型五.对比损失5.1基于能量模型的损失函数5.2基于NCE的损失函数5.3互信息损失6.经典的论文例子6.1CPC6.2simCLR6.3moco

@sea@·2022-11-30 18:32

自监督学习中的 Contrastive Learning 对比学习（持续更新）

目录1介绍2对比学习2.1对比学习一般思路3主要论文小介绍3.1MoCo3.1.1队列形式的字典3.1.2momentumupdate1介绍监督学习近些年获得了巨大的成功，但是有如下的缺点：1.人工标签相对数据来说本身是稀疏的

学渣渣渣渣渣·2022-11-28 22:51

刷论文的感觉太棒了！（对比学习 / CLIP改进 / 视频理解）

贪钱算法还我头发·2022-11-28 20:05

《跟李沐读论文》之对比学习

方法第一阶段InstDisc:个体判别的代理任务InvaSpread：个体判别代理3.CPC：生成式任务4.CMC：多视角第二阶段5.MoCo:可以看作InstDisc的升级6.SimClear:InvaSpread

暄染落墨·2022-11-28 04:58

经典论文学习笔记——13篇对比学习（Contrastive Learning）

着重讲一下MoCo，及附带其他12种对比学习的论文的改进之处。

gailj·2022-11-25 15:08

对比学习：MoCo代码详解

MoCo算法代码详解本文代码来源：1.导入包2.参数设置3.数据预处理4.模型4.1momentupdatekeyencoder4.2进队出队4.3shuffle4.4损失计算5.训练6.测试6.1Knnmonitor6.2Lineareval7

Eric Leee·2022-11-25 08:38

理解对比表示学习(Contrastive Learning)

.*2019)2.SIMCLR([GeoffreyHinton](https://arxiv.org/pdf/2002.05709.pdf)*etal*2020)3.MOCO([KaimingHe](https

xxxxxxxxxx13·2022-11-23 08:41

对比学习损失函数中超参数temperature的作用

目录背景超参数temperature的直观理解对比学习中的temperature参数理解背景最近在看凯明大神的对比学习MOCO时，看到infoNCEloss的公式时，对其中参数T(应该是tao，打不出来

调BUG的卑微代码人·2022-11-22 20:53

【论文笔记】(对比学习经典论文MoCo) Momentum Contrast for Unsupervised Visual Representation Learning

文章目录前言1.论文介绍2.对比学习简介3.MoCo实现思路4.MoCo架构简介5.MoCo代码实现前言本文是参考大神bryanyzhu对MoCo论文的解读视频，并按照他的解读结合论文进行笔记总结。

iioSnail·2022-11-21 10:30

对比学习（Contrastive Learning）的理解

blog.csdn.net/yyhaohaoxuexi/article/details/113824125一、InfoNoise-contrastiveestimation(InfoNCE)1.1描述 InfoNCE在MoCo

math_learning·2022-11-20 11:56

推荐频道

MOCO