InfoNCE

大盘点 | 何恺明团队在自监督领域的工作：MoCo三部曲

有关Self-Supervised和InfoNCE的基础知识可以看Self-Supervised:如何避免退化解，

Amusi（CVer）·2024-02-19 12:18

InfoNCE Loss公式及源码理解

InfoNCELoss公式及源码理解–从交叉熵损失谈起当谈论到信息论中的损失函数时，InfoNCE（NoiseContrastiveEstimation）和交叉熵损失都是两个关键的概念。

Marlowee·2023-11-24 01:13

自监督学习之对比学习：MoCo模型超级详解解读+总结

MoCo简介1.1整体思想1.2动量1.3正负样本如何选取二、动态字典2.1query和key2.2字典特点三、编码器的动量更新3.1编码器的更新规则3.2使用动量更新的原因四、实验过程4.1目标函数：infoNCE4.1.1softmax4.1.2

好喜欢吃红柚子·2023-10-27 14:20

对比学习损失—InfoNCE理论理解

InfoNCE这个损失是来自于论文：MomentumContrastforUnsupervisedVisualRepresentationLearning.MoCo提出，我们可以把对比学习看成

黑洞是不黑·2023-08-19 12:42

MoCo论文精读

loss前两者是会不变的第三种是会改变的第四种是两个概率分布之间的差异2.pretext任务和对比loss很像要点二多类不能用softmax所以提出NCEloss和cross-entropyloss很像=infonce

一只想飞的锦鲤·2023-04-07 10:37

MoCo解读

对比学习主要在两方面进行设计：代理任务损失函数MoCo将对比学习当作字典查询任务，在字典中与query匹配的key视为正样本，否则为负样本：损失函数InfoNCE为：Lq=−log⁡exp⁡(q⋅

transformer_WSZ·2023-02-02 08:01

深度学习(自监督:MoCo)——Momentum Contrast for Unsupervised Visual Representation Learning

提供有什么好处为什么需要momentumencoder前言本篇文章是何凯明老师在CVPR2020上的文章文章地址：链接代码地址：链接本文前半部分将对自监督任务做一个简短介绍，包括自监督任务中常见的损失函数——InfoNCE

菜到怀疑人生·2022-12-30 10:06

InfoNCE loss与交叉熵损失的联系，以及温度系数的作用

在文章《对比学习（ContrastiveLearning），必知必会》和《CIKM2021当推荐系统遇上对比学习，谷歌SSL算法精读》中，我们都提到过两个思考：（1）对比学习常用的损失函数InfoNCEloss和crossentropyloss是否有联系？（2）对比损失InfoNCEloss中有一个温度系数，其作用是什么？温度系数的设置对效果如何产生影响？个人认为，这两个问题可以作为对比学习相关项

taoqick·2022-12-03 16:34

推荐系统笔记（十）：InfoNCE Loss 损失函数

背景对比学习损失函数有多种，其中比较常用的一种是InfoNCEloss。最近学习实现了SGL推荐系统算法，对InfoNCELoss做一个总结。InfoNCELoss损失函数是基于对比度的一个损失函数，是由NCELoss损失函数演变而来。那为什么要使用InfoNCELoss呢？将在下文介绍到。原理介绍InfoNCELoss需要先介绍NCELoss损失函数。NCELossNCE是基于采样的方法，将多分

甘霖那·2022-12-03 16:58

对比学习（Contrastive Learning）的理解

参考网址：https://blog.csdn.net/yyhaohaoxuexi/article/details/113824125一、InfoNoise-contrastiveestimation(InfoNCE

math_learning·2022-11-20 11:56

对比学习损失函数（RINCE/ReLIC/ReLICv2）

对比学习常用的损失函数为InfoNCE。

byzy·2022-11-13 14:08

损失函数InfoNCE loss和cross entropy loss以及温度系数

还是基础知识的搬运哦（1）对比学习常用的损失函数InfoNCEloss和crossentropyloss是否有联系？（2）对比损失InfoNCEloss中有一个温度系数，其作用是什么？温度系数的设置对效果如何产生影响？个人认为，这两个问题可以作为对比学习相关项目面试的考点，本文我们就一起盘一盘这两个问题。1.InfoNCEloss公式对比学习损失函数有多种，其中比较常用的一种是InfoNCElos

tt姐whaosoft·2022-10-07 12:24

MoCo中的InfoNCE

目录1.自监督，个体判别2.损失函数的意义3.总结4.伪代码1.自监督，个体判别训练编码器，做字典查找任务。结构如下图，论文中代理任务是instancediscrimination（个体判别），先将一个样本x分成两部分，分别为x11和x12，然后随机取mini-batch的样本x2、x3、…。然后将x11放进encoder，输出为q，x12放进momentumencoder，输出为k+，x2、x3

山上的小酒馆·2022-09-28 10:10

对比学习（二）-模型坍塌-infoNCE损失函数

接对比学习（一）对比学习（二）L2正则使用原因模型坍塌infoNCE损失函数负例难度L2正则使用原因使用l2正则化的原因：对比学习在做特征相似度计算时，要先对表示向量做l2正则化然后再做点积计算，或者进行

椒椒。·2022-06-16 07:29

对比学习（Contrastive Learning）中的损失函数

文章目录写在前面一、InfoNoise-contrastiveestimation(InfoNCE)1.1描述1.2实现二、HCL2.1描述2.2实现三、文字解释四、代码解释4.1InfoNCE4.2HCL

IMU_YY·2022-03-18 05:35

论文阅读《Representation learning with contrastive predictive coding 》（CPC）对比预测编码

MotivationandIntuitions（动机）三、ConstrastivePredictiveCoding（对比预测编码）1、网络整体架构2、对比学习核心思想四、MutualInformatica&InfoNCE

科研菜鸟的奇思妙想·2022-03-18 05:15

NeuIPS2020|视频表示学习的自监督协同训练

本文由牛津大学提出作者主要研究针对视觉的自监督视频表示学习：（i）研究了在基于实例的信息噪声对比估计（InfoNCE）训练中添加语义类肯定句的好处，表明这种形式的监督式对比学习可以明显改善性能；（ii）

AI算法后丹修炼炉·2022-03-18 05:27

Noise Contrastive Estimation 前世今生——从 NCE 到 InfoNCE

文章首发于：https://zhuanlan.zhihu.com/p/3347723910前言作为刚入门自监督学习的小白，在阅读其中ContrastiveBased方法的论文时，经常会看到InfoNCE

LetheSec·2022-03-18 05:08

MINE复现[DV, fGAN, infoNCE]

Environmentpytorch1.5.1torchvision0.6.1numpy1.18.5matplotlib3.3.0Mainusageofclass#-*-coding:UTF-8-*-"""=================================================@IDE:Pycharm@Date:2020.9.22@Desc:Themoduleisthei

来碗拿铁️·2022-03-18 05:25

自监督、对比学习、contrastive learning、互信息、infoNCE等

=====更新时间：21.2.7祝大家节日快乐============73岁Hinton老爷子构思下一代神经网络：属于无监督对比学习无监督学习主要有两类方法（所以在label少的时候，unsupervisedlearning可以帮助我们学到data本身的high-levelinformation，这些information能够对downstreamtask有很大的帮助。）第一类的典型代表是BERT

一只想飞的咸鱼君·2022-03-18 05:32

从NCE loss到InfoNCE loss

关于NCEloss：知乎上的一些介绍的文字NoiseContrastiveEstimation学习-知乎github上的介绍文字：LeiMao'sLogBook–NoiseContrastiveEstimationNCEbridgesthegapbetweengenerativemodelsanddiscriminativemodels,ratherthansimplyspeedupthesoft

量化橙同学·2022-03-18 05:06

2021-12-02

MomentumContrastforUnsupervisedVisualRepresentationLearning》论文地址：https://arxiv.org/abs/1911.05722MoCov1本文前半部分将对自监督任务做一个简短介绍，包括自监督任务中常见的损失函数——InfoNCE

queen坤坤女王·2022-01-10 15:13

推荐频道