Contrastive 第4页

度量学习DML之Contrastive Loss及其变种

度量学习DML之ContrastiveLoss及其变种_程大海的博客-CSDN博客度量学习DML之TripletLoss_程大海的博客-CSDN博客度量学习DML之LiftedStructureLoss_程大海的博客-CSDN博客度量学习DML之CircleLoss_程大海的博客-CSDN博客度量学习DML之Cross-BatchMemory_程大海的博客-CSDN博客度量学习DML之MoCO_程

胖胖大海·2023-02-01 03:57

Triplet Loss / Contrastive Loss / Focal Loss 的林林总总

本文主要介绍/对比三种常用的Lossfunction：（1）TripletLoss（2）ContrastiveLoss（3）FocalLoss前两种主要用于MetricLearning（度量学习）任务中，而FocalLoss更多的是处理正负样本极其不均衡情况下的一种CrossEntropyLoss的升级版。（1）TripletLoss最初是在FaceNet一文中提出的，研究重点在于如何学习到更好的

陈煜嵘Yurong·2023-02-01 03:57

contrastive loss function (papers)

CH-Yuan·2023-02-01 03:57

Understanding the Behaviour of Contrastive Loss理解对比损失的性质以及温度系数的作用

论文标题：UnderstandingtheBehaviourofContrastiveLossUnderstandingtheBehaviourofContrastiveLossarxiv.org对比学习中的温度系数是一个神秘的参数，大部分论文都默认采用小的温度系数来进行自监督对比学习（例如0.07，0.2）。然而并没有对采用小温度系数的解释，以及温度系数是如何影响学习过程的，即温度系数这个角色的

c2a2o2·2023-02-01 03:26

Contrastive Loss 详解及用法

吐槽：我发现网上的很多博客要么误人子弟，要么就是学艺不精就出来写，一开始我对这个概念不太理解，看别人写的博客，知道了这个loss是什么，但是怎么用，那是完全没人提啊。大家都知道，contrastiveloss用在embeddingvector上，这个embeddingvector怎么得到的？压根就没人讲。另外，loss函数里也涉及一些超参数，超参数应该取多少？也压根没人提。都是看了看表明文章，就出

qq_36303832·2023-02-01 03:26

Contrastive Loss (对比损失)

在caffe的孪生神经网络（siamesenetwork）中，其采用的损失函数是contrastiveloss，这种损失函数可以有效的处理孪生神经网络中的paireddata的关系。contrastiveloss的表达式如下：L=12N∑n=1Nyd2+(1−y)max(margin−d,0)2其中d=||an−bn||2，代表两个样本特征的欧氏距离，y为两个样本是否匹配的标签，y=1代表两个样本

LittleStudent12·2023-02-01 03:26

Contrastive Loss

在siamesenetwork中采用的损失函数，针对paireddata。L=12N∑i=1Nyd2−(1−y)max(margin−d,0)其中y为paireddata的是否为同类的标记，若为同类则y=1。margin为异类之间的距离margin。d为paireddata之间的欧式距离。当输入的paireddata为同类时，距离越大，损失函数L越大，当paireddata为异类时，若两者之间的距

booyoungxu·2023-02-01 03:26

tensorflow实现kNN contrastive loss

Notes题目所谓kNNcontrastiveloss是我自己起的名字，指的是[1]的第2条损失，文中叫做Semi-supervisedEmbeddingTerm，形式如下：J(xi,xj)={d(xi,xj),A(i,j)=1max⁡{0,m−d(xi,xj)},A(i,j)=0J(x_i,x_j)=\begin{cases}d(x_i,x_j),&A(i,j)=1\\\max\{0,m-d(x

HackerTom·2023-02-01 03:56

再介绍一篇最新的Contrastive Self-supervised Learning综述论文

文|对白源|对白的算法屋自监督学习（Self-supervisedlearning）最近获得了很多关注，因为其可以避免对数据集进行大量的标签标注。它可以把自己定义的伪标签当作训练的信号，然后把学习到的表示（representation）用作下游任务里。最近，对比学习被当作自监督学习中一个非常重要的一部分，被广泛运用在计算机视觉、自然语言处理等领域。它的目标是：将一个样本的不同的、增强过的新样本们在

夕小瑶·2023-01-31 21:30

综述论文阅读”A survey on contrastive self-supervised learning“（Technologies2020）

论文标题Asurveyoncontrastiveself-supervisedlearning论文作者、链接作者：Jaiswal,AshishandBabu,AshwinRameshandZadeh,MohammadZakiandBanerjee,DebapriyaandMakedon,Fillia链接：Technologies|FreeFull-Text|ASurveyonContrastive

不吃香菜的zbw·2023-01-31 21:29

【论文阅读】A Survey on Contrastive Self-supervised Learning

论文地址：https://arxiv.org/abs/2011.00362介绍有监督的方法的问题：1、需要昂贵的标记数据2、泛化性能差3、遭受对抗攻击大量的方法开始寻找不需要大量昂贵的标记的方法，通过自监督来学习特征表示随着2014年GAN被提出，有许多基于GAN的自监督的生成模型，但是GAN也存在问题：1、模型参数比较振荡，很难收敛2、判别器通常比生成器训练得更好，使得生成器很难生成逼真的样本对

huitailangyz·2023-01-31 21:58

【自监督学习综述】A Survey on Contrastive Self-Supervised Learning

论文地址：https://arxiv.org/abs/2011.00362摘要自监督学习越来越受欢迎，因为它能够降低注释大规模数据集的成本。它能够采用自定义的伪标记来监督，并将学习的表示形式用于多个下游任务。对比学习最近已成为用于计算机视觉，自然语言处理（NLP）和其他领域的自监督学习中的主要组成部分。它旨在加入相同样本的扩展版本，同时试图从不同样本中发现加入的样本。本文对遵循对比方法的自监督学习

哈哈哈1102·2023-01-31 21:27

A Survey on Contrastive Self-Supervised Learning

ASurveyonContrastiveSelf-SupervisedLearning对比自监督学习综述Author：AshishJaiswal，AshwinRameshBabu,MohammadZakiZadeh,DebapriyaBanerjeeandFilliaMakedon机构：德克萨斯大学阿灵顿分校计算机科学与工程系，阿灵顿，美国期刊：technologies，10.31提交，12.23

HelloWorld__来都来了·2023-01-31 21:27

[FSCE]FSCE: Few-Shot Object Detection via Contrastive Proposal Encoding(CVPR. 2021)

1.Motivation本文是基于fine-tuningbased方法Inthiswork,weobserveandaddresstheessentialweaknessofthefine-tuningbasedapproach–constantlymislabelingnovelin-stancesasconfusablecategories,andimprovethefew-shotdetec

Ah丶Weii·2023-01-31 15:17

【翻译】Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning

文章目录ABSTRACT1INTRODUCTION2RELATEDWORK3METHOD3.1Multi-layerStyleProjector3.2ContrastiveStyleLearning3.3DomainEnhancement3.4NetworkTraining4EXPERIMENTS4.1QualitativeEvaluation4.2QuantitativeEvaluation4.

顺利毕业啊·2023-01-30 14:36

【论文阅读】HeCo：Self-supervised Heterogeneous Graph Neural Network with Co-contrastive Learning

具有协同对比学习的自监督异质图神经网络摘要1准备工作2HeGo模型2.1节点特征转换2.2网络架构视角引导的编码器2.3元路径视角引导的编码器2.4视角掩蔽机制2.5协同对比优化（CollaborativelyContrastiveOptimization）2.6模型扩展2.6.1HeCo_GAN2.6.2HeCo_MU3实验3.1实验设置3.2节点分类3.3节点聚类论文链接：https://ar

Cziun·2023-01-30 08:53

Self-supervised Heterogeneous Graph Neural Network with Co-contrastive Learning

1.基本概念HeterogeneousInformationNetwork（异构信息网络）分别表示节点集合，连接关系集合，节点类型集合，连接关系类型集合，节点类型映射，连接关系类型映射。例如图中三种类型的节点（author，paper，subject），两种连接关系类型（write，belongto）Networkschema（网络模式）相当于对异构图的一个抽象表示，以节点类型集合作为新的图顶点集

面包片片·2023-01-30 08:52

【论文阅读笔记】（2022 ECCV）Contrastive Positive Mining for Unsupervised 3D Action Representation Learning

论文题目：ContrastivePositiveMiningforUnsupervised3DActionRepresentationLearning论文下载地址：https://arxiv.org/pdf/2208.03497.pdf目录0.论文简介&创新点1、ContrastivePositiveMining(CPM)2、SimilarityDistribution3、PositiveMini

小吴同学真棒·2023-01-28 16:20

基于对比学习(Contrastive Learning)的文本表示模型为什么能学到语义相似度？

每天给你送来NLP技术干货！作者|对白整理|对白的算法屋编者寄语：这可能是面试中被问到对比学习时最常考的点了。最近在知乎上看到这样一个问题：基于对比学习(ContrastiveLearning)的文本表示模型为什么能学到语义相似度？这个问题还比较的新颖，回答的人数不超过5个，而这个问题也问得非常好，我直拍大腿，他肯定是一位精通技术的面试官，所以就连我也没有立刻回答上来。于是，我匆忙翻出了自己的笔记

zenRRan·2023-01-24 07:24

ICLR2021对比学习（Contrastive Learning）NLP领域论文进展梳理

作者|对白出品|公众号：对白的算法屋大家好，我是对白。本次我挑选了ICLR2021中NLP领域下的六篇文章进行解读，包含了文本生成、自然语言理解、预训练语言模型训练和去偏、以及文本匹配和文本检索。从这些论文的思想中借鉴了一些idea用于公司自身的业务中，最终起到了一个不错的效果。ContrastiveLearningwithAdversarialPerturbationsforConditiona

程序员对白·2023-01-24 07:24

【论文阅读】Multi-Modal Sarcasm Detection Based on Contrastive Attention Mechanism

论文标题：Multi-ModalSarcasmDetectionBasedonContrastiveAttentionMechanism来源：NLPCC2021论文链接：https://arxiv.org/abs/2109.15153动机随着视频通信的普及，多模态场景分析受到了广泛关注。在目前的多模态反讽识别中，存在着一个关键的问题：如何对话语中存在的模态间的不一致性进行建模（例如，文本表达的是赞

weixin_45420890·2023-01-23 10:05

CLMLF:A Contrastive Learning and Multi-Layer Fusion Method forMultimodal Sentiment Detection

CLMLF:AContrastiveLearningandMulti-LayerFusionMethodforMultimodalSentimentDetection

asd8705·2023-01-23 10:03

详细解读论文 CPC：Representation Learning with Contrastive Predictive Coding

Abstract:该篇论文提出了一种完全的无监督的方法，旨在从高维的特征空间中提取有效特征同时舍弃掉一些更加局部的特征。简单来说目的就是更加有效的提取特征，提取更加global的"slowfeatures"。该方法较为通用，在很多任务中都可以得到应用，文中列举了：语音，图像，文本，3D领域强化学习等方向的应用。Method:无监督学习并没有label来引导网络学习，就像一个野外长大的孩子，没有大人

Jarrent Wu·2023-01-23 07:33

深度聚类方法之跨实例引导的对比聚类(Cross-instance guided Contrastive Clustering,C3)

深度聚类方法之跨实例引导的对比聚类(Cross-instanceguidedContrastiveClustering,C3)1.参考文献《C3:Cross-instanceguidedContrastiveClustering》2.跨实例引导的对比聚类(Cross-instanceguidedContrastiveClustering,C3)该方法是在对比聚类(ContrastiveCluste

没用的阿鸡·2023-01-17 07:24

ECCV 2022《Few-Shot Classification with Contrastive Learning》

目录0Abstract1Introduction2Pre-Training3Meta-Training4Experiment5Conclusion0Abstract作者指出他们提出了一种新颖的基于对比学习的FSL网络框架，这种框架可以将对比学习很好的集成到现在广泛使用的two-stagetrainingparadigm(包括pre-training和meta-learning两个stages)在p

脑瓜嗡嗡0608·2023-01-15 11:32

[小样本图像分割]SCNet: Enhancing Few-Shot Semantic Segmentation by Self-Contrastive Background Prototypes

SCNet:通过自我对比的背景原型增强Few-Shot语义分割论文地址摘要大多数先进小样本分割都利用了度量学习框架，该框架通过将每个像素与学习到的前景原型进行匹配来进行分割。然而，只使用前景原型会导致分类偏倚。为了解决这一问题，本文在Few-Shot语义分割中引入了一种互补的自对比任务。我们的新模型能够关联每一个区域上的原型，无论这个区域是属于前景还是背景。为此，我们直接从查询图像中生成自我对比的

XL_Dylan·2023-01-15 11:28

论文阅读“PICO: CONTRASTIVE LABEL DISAMBIGUATION FOR PARTIAL LABEL LEARNING”（ICLR2022）

论文标题PICO:CONTRASTIVELABELDISAMBIGUATIONFORPARTIALLABELLEARNING论文作者、链接作者：Wang,HaoboandXiao,RuixuanandLi,YixuanandFeng,LeiandNiu,GangandChen,GangandZhao,Junbo链接：https://arxiv.org/abs/2201.08984代码：https:

不吃香菜的zbw·2023-01-13 14:12

用于改进说话人验证的对比混合学习

CONTRASTIVE-MIXUPLEARNINGFORIMPROVEDSPEAKERVERIFICATION摘要本文提出了一种全新的mixup原型损失；mixup是一种简单高效的数据增强方法--可以制造随机数据点和标签对的加权组合

深海的银·2023-01-12 13:19

文献阅读：Selective-Supervised Contrastive Learning with Noisy Labels

带有噪声标签的选择性监督对比学习——ShikunLi.CPVR2022摘要深度网络有很强的能力将数据嵌入到隐藏表征中并完成后续任务。然而，这些能力主要来自于高质量的标注标签，但收集成本很高。噪声标签更实惠，但会导致表征被破坏，从而导致泛化性能差。本文提出的选择性监督的对比学习（Sel-CL）扩展了监督对比学习（Sup-CL）。由于Sup-CL是以成对的方式进行工作，由噪声标签建立的噪声对会误导表征

qq_45697032·2023-01-11 17:22

Contrastive Clustering

文章目录121论文链接：AAAI2021博客链接：基于对比学习的聚类工作现有的大部分深度聚类（DeepClustering）需要迭代进行表示学习和聚类这两个过程。算法过程：对样本进行表示对样本进行聚类重复1和2缺点：一是迭代优化的过程中容易出现误差累计二是聚类过程通常采用k-means等需要全局相似性信息的算法，使得需要数据全部准备好后才能进行聚类，故面临不能处理在线数据的局限性提出的新方法：2对

酷暑冷冰·2023-01-11 11:38

论文阅读“Graph Contrastive Clustering”（ICCV2021）

论文标题GraphContrastiveClustering论文作者、链接作者：Zhong,HuasongandWu,JianlongandChen,ChongandHuang,JianqiangandDeng,MinghuaandNie,LiqiangandLin,ZhouchenandHua,Xian-Sheng链接：ICCV2021OpenAccessRepository代码：GitHub-

不吃香菜的zbw·2023-01-11 11:07

深度聚类方法之对比聚类(Contrastive Clustering,CC)

1.参考文献《ContrastiveClustering》2.深度聚类方法深度聚类方法大致分为以下几类：①分阶段：使用深度网络进行对比学习or自动编码器完成表征学习(目的：把同类样本集中到一起，拉开不同类样本的聚类)，然后使用聚类模型把不同簇的样本进行归类，并且使用后续赋值对深度网络进行更新。这种交替学习方法在表征学习和聚类的交替阶段中存在累积的误差，会导致聚类性能次优。②端到端：即在完成表征学习

没用的阿鸡·2023-01-11 11:06

【深度学习6】对比学习（Contrastive Learning）入门

主要内容：1.何为对比2.如何构造正负样本3.对比学习loss4.对比学习loss代码1.何为对比「对比学习」属于无监督学习的一种，即给一堆数据，没有标签，自己学习出一种特征表示。我们知道的无监督方法有聚类(迭代地更新聚类中心，让属于同一类的样本更近，不同类的样本更远)，自编码器(输入x->特征隐层编码->解码恢复出x'，让x'和x接近)，那对比学习又是怎么个操作，怎么构建loss反向传播呢？对比

烈日松饼·2023-01-11 11:06

对比学习（Contrastive Learning）综述

本文转载自知乎作者|光某人https://zhuanlan.zhihu.com/p/346686467A『引入』深度学习的成功往往依赖于海量数据的支持，其中对于数据的标记与否，可以分为监督学习和无监督学习。1.监督学习：技术相对成熟，但是对海量的数据进行标记需要花费大量的时间和资源。2.无监督学习：自主发现数据中潜在的结构，节省时间以及硬件资源。2.1主要思路：自主地从大量数据中学习同类数据的相同

人工智能与算法学习·2023-01-10 12:11

【论文笔记_对比学习_2021】Supervised Contrastive Learning

监督对比学习摘要近年来，应用于自我监督表示学习的对比学习再次兴起，导致了深度图像模型的无监督训练中的艺术表现。现代批量对比方法包含或明显优于传统的对比损失，如三元组、最大余量和N对损失。在这项工作中，我们将自我监督的批量对比方法扩展到完全监督的设置，使我们能够有效地利用标签信息。属于同一类的点的聚类在嵌入空间中被拉在一起，同时推开来自不同类的样本的聚类。我们分析了监督对比(SupCon)损失的两种

乱搭巴士·2023-01-10 12:41

Micro-expression recognition with supervised contrastive learning基于对比监督学习的微表情识别

Micro-expressionrecognitionwithsupervisedcontrastivelearning基于对比监督学习的微表情识别——2022PRL文章链接：https://www.sciencedirect.com/science/article/abs/pii/S0167865522002690以下为论文主要内容简述Abstract面部微表情是面部肌肉的不自主运动，暴露了个人

福芙芙_growing·2023-01-10 12:41

对比学习（Contrastive Learning）在CV与NLP领域中的研究进展

对比学习方法（CV）对比学习要做什么？有监督训练的典型问题，就是标注数据是有限的。目前NLP领域的经验，自监督预训练使用的数据量越大，模型越复杂，那么模型能够吸收的知识越多，对下游任务效果来说越好。这可能是自从Bert出现以来，一再被反复证明。所以对比学习的出现，是图像领域为了解决“在没有更大标注数据集的情况下，如何采用自监督预训练模式，来从中吸取图像本身的先验知识分布，得到一个预训练的模型”。对

程序员对白·2023-01-10 12:40

2021最新对比学习（Contrastive Learning）在各大顶会上的经典必读论文解读

所列举的论文涉及领域包括但不限于CV,NLP,Audio,Video,Multimodal,Graph,Languagemodel等，GitHub地址：https://github.com/coder-duibai/Contrastive-Learning-Papers-Codes

程序员对白·2023-01-10 12:40

【论文笔记_对比学习_2021】CONTRASTIVE LEARNING WITH HARD NEGATIVE SAMPLES

用困难负样本进行对比性学习摘要如何才能为对比性学习提供好的负面例子？我们认为，就像度量学习一样，表征的对比性学习得益于硬性负面样本（即难以与锚点区分的点）。使用硬阴性样本的关键挑战是，对比性方法必须保持无监督状态，这使得采用现有的使用真实相似性信息的阴性采样策略变得不可行。作为回应，我们开发了一个新的无监督抽样方法系列，用于选择用户可以控制硬度的困难负样本。这种抽样的一个限制性案例导致了对每个类的

乱搭巴士·2023-01-10 12:10

从对比学习(Contrastive Learning)到对比聚类(Contrastive Clustering)

从对比学习(ContrastiveLearning)到对比聚类(ContrastiveClustering)作者：凯鲁嘎吉-博客园http://www.cnblogs.com/kailugaji/想要了解对比聚类，首先应该清楚对比学习的整个过程。最经典的对比学习的文章是Hinton团队提出的SimCLR，该方法首先将一个实例(图像)变换成两种不同的增广实例(图像)，然后用神经网络训练得到投影表示，

c2a2o2·2023-01-10 12:09

对比学习（Contrastive Learning）:研究进展精要

对比学习(ContrastiveLearning)最近一年比较火，各路大神比如Hinton、YannLeCun、KaimingHe及一流研究机构比如Facebook、Google、DeepMind，都投入其中并快速提出各种改进模型：Moco系列、SimCLR系列、BYOL、SwAV…..，各种方法相互借鉴，又各有创新，俨然一场机器学习领域的军备竞赛。对比学习属于无监督或者自监督学习，但是目前多个模

c2a2o2·2023-01-10 12:09

《PROTOTYPICAL CONTRASTIVE LEARNING OF UNSUPERVISED REPRESENTATIONS》学习笔记

PROTOTYPICALCONTRASTIVELEARNING引言方法实验Low-shotclassification特征可视化消融实验引言本文提出了一种无监督表征学习方法，主要针对对比损失(contrastiveloss)和聚类方法(deepcluster)方法改进，对比损失主要基于噪声对比估计(noisecontrastiveestimator)，将同分布的embedding拉近，不同分布的e

CsdnWujinming·2023-01-10 12:39

无监督聚类表征学习方法之对比学习(Contrastive Learning)——simclr方法

无监督聚类表征学习方法之对比学习(ContrastiveLearning)——simclr方法1.参考论文《ASimpleFrameworkforContrastiveLearningofVisualRepresentations》2.无监督聚类表征学习方法主要有几种：①自动编码器(AutoEncoder,AE);②变分自编码器(VariationalAutoencoder,VAE);③生成对抗网

没用的阿鸡·2023-01-10 12:38

运行CUT时遇到的问题|contrastive-unpaired-translation

1.灰度图像在使用自己的灰度模式图像训练时,应该把input_nc和output_nc改为1,运行时报错:RuntimeError:Givengroups=1,weightofsize[64,1,7,7],expectedinput[2,3,518,518]tohave1channels,butgot3channelsinstead(cut1)pythontrain.py--dataroot./d

嘻嘻嘻.·2023-01-10 11:23

Contrastive Model Inversion for Data-Free Knowledge Distillation

ContrastiveModelInversionforData-FreeKnowledgeDistillation模型反演的目标是从预先训练好的模型中恢复训练数据，最近已被证明是可行的。然而，现有的反转方法通常存在模式崩溃问题，即合成的实例彼此高度相似，因此对下游任务（如知识提炼）的有效性有限。在本文中，我们提出了对比性模型反演（CMI），其中数据多样性被明确地建模为一个可优化的目标，以缓解模式

weixin_37958272·2023-01-10 11:10

A Contrastive Cross-Channel Data Augmentation Framework for Aspect-Based Sentiment Analysis 论文阅读笔记

一、作者BingWang、LiangDing、QihuangZhong、XimingLi、DachengTaoCollegeofComputerScienceandTechnology,JilinUniversityJDExploreAcademyTheUniversityofSydneyWuhanUniversity二、背景基于方面的情感分析（ABSA）是一种细粒度的情感分析任务，其重点是检测对

呦，又写BUG呢·2023-01-07 08:30

[文献阅读]——CLINE: Contrastive Learning with Semantic Negative Examples for NLU

前言为了解决PLM的低鲁棒性，前人工作的首要目的在于，小幅度改变输入，但不改变标签，存在的问题是：由于NLP的离散性，小幅度的改变可能带来语义上面的很大变化，先前的方法在提高鲁棒性的同时，对于语义的变化不敏感。本文的贡献：采用先导实验验证了前人工作中存在的问题提出了一个既能提高PLM鲁棒性又能提高敏感度的训练方法方法样例的生成给定一个原始句子xorix^{ori}xori，使用spaCy进行分词，

Muasci·2023-01-06 12:47

Contrastive Domain Adaptation for Question Answering using Limited Text Corpora

ContrastiveDomainAdaptationforQuestionAnsweringusingLimitedTextCorpora基于有限文本语料库的问答对比领域自适应codeAbstract问题生成在新领域定制QA系统方面取得了不错的成果，这些方法避免了来自新领域的人工标注的训练数据的需要，而是生成用于训练的合成问答对(syntheticquestion-answerpairs)。本文

自然语言处理CS·2023-01-03 09:47

对比学习(Contrastive Learning) (1)

三篇论文《SupervisedContrastiveLearning》《ASimpleFrameworkforContrastiveLearningofVisualRepresentations》《WhatMakesforGoodViewsforContrastiveLearning》对比学习的思想起源于无监督学习，相比于监督学习算法，无监督学习由于没有标签的指导，训练过程学习样本的特征会更加困难

weiweiweimengting·2023-01-02 09:39

推荐频道

Contrastive