Contrastive 第8页

【论文笔记——对比预测编码CPC】Representation Learning with Contrastive Predictive Coding

RepresentationLearningwithContrastivePredictiveCodingarxiv：https://arxiv.org/abs/1807.03748code：https://github.com/jefflai108/Contrastive-Predictive-Coding-PyTorch1Introduce

LetheSec·2022-11-15 11:50

＜＜多模态预训练＞＞2022：CoCa: Contrastive Captioners are Image-Text Foundation Models

目录Abstract1、Introduction2、RelatedWork3、Approach3.1、NaturalLanguageSupervision3.2、ContrastiveCaptionersPretraining3.3、ContrastiveCaptionersforDownstreamTasks4、Experiments5、ConclusionAbstract本文提出了Contra

金克丝、·2022-11-14 07:52

SimCSE: Simple Contrastive Learning of Sentence Embeddings

SimCSE论文目的SimCSE:simplecontrastivesentenceembeddingframework首先提出一种无监督的方法，仅使用dropout作为噪声，进行对比训练。与有监督的方法效果类似，dropout充当了最小的数据增强的方法，删除它模型会崩溃。然后提出一种有监督的方法，使用自然语言推理（NLI）中的蕴含作为正对、矛盾作为负例，在STS任务上评估SimCSE，在无监督和

红酒暖心也暖胃·2022-11-07 21:17

NIPS20 - 将对比学习用于监督学习任务《Supervised Contrastive Learning》

文章目录原文地址论文阅读方法初识相知回顾代码原文地址原文论文阅读方法三遍论文法初识对比学习这两年在自监督学习、无监督学习任务中非常火，取得了非常优秀的性能。这个工作就是想办法将其用在监督学习任务中，在训练过程中更有效地利用标签信息。文章研究的点主要在于对比学习在分类任务中的应用作者首先分析了分类任务中最常采用的交叉熵损失函数的缺点：①对噪声数数据缺乏鲁棒性;②分类边界的问题(thepossibil

我是大黄同学呀·2022-11-03 18:15

[阅读论文] RoCBert: Robust Chinese Bert with Multimodal Contrastive Pretraining

[阅读论文]RoCBert:RobustChineseBertwithMultimodalContrastivePretraining摘要大规模的预训练语言模型在NLP任务上取得了很好的成果。但是，它们已被证明容易受到对抗性攻击，尤其是对于中文等字形语言而言。针对于以上问题，本文提出了ROCBERT:一种经过训练的中文Bert，对各种形式的对抗性攻击(例如单词扰动，同义词，错别字等)具有鲁棒性。它

小千不爱内卷·2022-10-30 07:39

【研一小白论文精读】Joint Generative and Contrastive Learning for Unsupervised Person Re-identification

Abstract就是将GAN和对比学习模块结合起来，对比学习不是需要数据增强吗，就用GAN的视图生成器来做这个增强，还提出了一种对比学习的损失函数，实验也证明取得了SOTA。IntroductionReID的目标是从不同视图中识别物体，也即是根据可视化相似度从gallery中识别query，gallery和query其实就是对比学习中的两个试图，也是一大一小数据集和样本这样的一个关系。直白一点就是

Titus W·2022-10-26 16:01

FSCE: Few-Shot Object Detection via Contrastive Proposal Encoding

FSCE:Few-ShotObjectDetectionviaContrastiveProposalEncoding论文：Few-ShotObjectDetectionviaContrastiveProposalEncoding(CVPR2021)Introduction深度卷积网络的学习一般都需要大量的标记数据进行训练，但是对于人来说，通过几张新类别图片就可以快速学习到新类别并进行识别。两阶段的

没拖拉机的斯基·2022-10-23 07:57

论文阅读《FSCE: Few-Shot Object Detection via Contrastive Proposal Encoding》

提出了一种对比表征嵌入的方法来来实现小样本目标检测，观察到使用不同的IoU来检测物体与对比学习方法中对比不同“正对”和“负对”来实现分类有异曲同工之妙以及好的特征嵌入是提升小样本学习性能的关键。动机是观察到模型的错误更有可能是误分类而不是定位，本文解决这一问题的方法是对“正对”和“负对”施加了对比嵌入损失（CPEloss），使“正对”的得分远大于“负对”的得分，在当时的PASCALVOC和COCO

不说话装高手H·2022-10-23 07:40

Revisiting Graph Contrastive Learning from the Perspective of Graph Spectrum

1.摘要图对比学习（GCL）是通过扩充图来学习节点表示的一种学习方法，近年来受到了广泛的关注。尽管各种图形增强策略层出不穷，但一些基本问题仍然不清楚：GCL学习到的表示中基本上编码了什么信息？在不同的扩充之后，是否有一些通用的图形扩充规则？如果是，它们是什么？它们能带来什么见解？在本文中，我们通过建立GCL和图谱之间的联系来回答这些问题。通过对谱域的实验研究，我们首先发现GCL的广义图增广（G

回锅肉炒肉·2022-10-22 07:52

谣言检测论文精度——10.Supervised Contrastive Learning for Multimodal Unreliable News Detection in COVID-19

Abstract作者在这一小节提出了自己关于谣言检测的新见解以及新模型：新闻报道的可信度不应孤立地考虑。相反，可以使用之前发布的关于类似事件的新闻文章来评估新闻报道的可信度。受此启发，我们提出了一个基于BERT的多模式不可靠新闻检测框架，该框架利用对比学习策略从不可靠文章中捕获文本和视觉信息。对比学习者与不可靠新闻分类器进行交互，将相似的可信新闻（或类似的不可靠新闻）推得更近，同时在多模态嵌入空间

头发没了还会再长·2022-10-04 07:08

Improved Baselines with Momentum Contrastive Learning

ImprovedBaselineswithMomentumContrastiveLearning摘要对比无监督学习最近显示出令人鼓舞的进展，例如在MomentumContrast(MoCo)和SimCLR方面。在这篇笔记中，我们通过在MoCo框架中实现SimCLR的两个设计改进来验证它们的有效性。通过对MoCo的简单修改（即使用MLP投影头和更多数据增强），我们建立了优于SimCLR且不需要大量训

CodeWanted·2022-10-03 07:51

Supervised Contrastive Replay 论文详解通过NCM分类器和图片回放实现增量学习

论文地址：[2103.13885]SupervisedContrastiveReplay:RevisitingtheNearestClassMeanClassifierinOnlineClass-IncrementalContinualLearning(arxiv.org)Supervisedcontrastivereplay:revisitingthenearestclassmeanclassi

祥瑞Coding·2022-09-28 09:29

文献阅读：SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples

文献阅读：SNCSE:ContrastiveLearningforUnsupervisedSentenceEmbeddingwithSoftNegativeSamples1.内容简介2.方法实现1.embedding的获取2.softnegative样品的生成3.loss函数的定义3.实验&结果1.基础实验结果2.soft-negative样品的作用3.BMLloss的考察4.similarity

Espresso Macchiato·2022-09-26 09:45

ECCV 2022：Few-Shot Classification with Contrastive Learning

1、动机Atwo-stagetrainingparadigmconsistingofsequentialpretrainingandmeta-trainingstageshasbeenwidelyusedincurrentfewshotlearning(FSL)research.However,thepotentialofcontrastivelearninginbothstagesofFSLtr

lishuoshi1996·2022-09-23 16:39

Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hyperspher

1.UnderstandingContrastiveRepresentationLearningthroughAlignmentandUniformityontheHyperspher1.论文思路提出了contrastiveloss的两种性质：（1）alignment用来衡量正例对样本间的近似程度。（2）uniformity衡量规整后的特征在unit超球体上的分布的均匀性。并提出了衡量两种性质的评

pitaojun·2022-09-22 21:30

论文阅读《COMPLETER: Incomplete Multi-view Clustering via Contrastive Prediction》

目录论文信息一、Abstract二、Introduction三、TheProposedMethod（COMPLETER）（一）整体框架（二）目标函数1.视图内重建2.跨视图对比学习3.跨视图双重预测论文信息论文标题：COMPLETER:IncompleteMulti-viewClusteringviaContrastivePrediction论文作者：YijieLin,YuanbiaoGou,Zi

菠萝咕噜肉~·2022-09-22 21:29

Augmenting Few-Shot Learning With Supervised Contrastive Learning

https://github.com/taemin-lee/SPTAABSTRACT小样本学习处理少量数据，这会导致传统交叉熵损失的性能不足。我们为小样本学习场景提出了一种预训练方法。也就是说，考虑到特征提取器的质量是少样本学习的关键因素，我们使用对比学习技术来增强特征提取器。据报道，将监督对比学习应用于转导小样本训练管道中的基类训练可以提高结果，优于Mini-ImageNet和CUB上的最新方法

哈哈哈hhhhhh·2022-09-17 13:52

Self-Damaging Contrastive Learning

1.摘要最近通过对比学习取得的突破加快了在现实世界数据应用程序上部署无监督训练的步伐。然而，现实中未标记的数据通常是不平衡的，并且呈现出长尾分布，并且目前尚不清楚最新的对比学习方法在实际场景中的表现如何。本文建议通过称为自损对比学习(SDCLR)的原则框架明确解决这一挑战，以在不知道类别的情况下自动平衡表示学习。我们的主要灵感来自最近的发现，即深度模型具有难以记忆的样本，这些样本可能通过网络修

回锅肉炒肉·2022-09-14 07:16

论文阅读“Contrastive multi-view representation learning on graphs”

HassaniK,KhasahmadiAH.Contrastivemulti-viewrepresentationlearningongraphs[C]//InternationalConferenceonMachineLearning.PMLR,2020:4116-4126.摘要导读通过对比图的结构视图，本文引入了一种学习节点和图级别表示的自监督方法。与视图表示学习不相同的是，对于图结构的对比学

掉了西红柿皮_Kee·2022-07-28 19:04

2022对比学习（Contrastive Learning）在各大顶会上的最新研究进展

·2022-07-16 22:41

SUPERVISION EXISTS EVERYWHERE: A DATA EFFICIENT CONTRASTIVE LANGUAGE-IMAGE PRE-TRAINING PARADIGM

近年来，大规模对比语言图像预训练（CLIP）因其令人印象深刻的zero-shot识别能力和良好的下游任务转移能力而引起了前所未有的关注。然而，CLIP非常需要数据，需要400M图像-文本对进行预训练。这项工作提出了一种新的训练范式（DeCLIP），以缓解这一限制。我们证明，通过仔细利用图像-文本对之间的广泛监督，我们的DeCLIP可以更有效地学习通用视觉特征。我们没有使用单一的图像-文本对比监督，

Tsukinousag·2022-07-06 20:04

CONTAINER: Few-Shot Named Entity Recognition via Contrastive Learning

1.介绍FewShotNER对于低资源域中的实体标记至关重要。现有的方法仅从源域学习特定于类的语义特征和中间表示。这会影响对看不见的目标域的通用性，从而导致性能不佳。为此，我们提出了CONTAINER，这是一种新的对比学习技术，它优化了标记间的分布距离。CONTAINER没有优化特定于类的属性，而是优化了一个广义目标，即基于高斯分布embedding区分token类别。这有效地缓解了源自训练领域的

Tsukinousag·2022-06-30 11:02

CoCa: Contrastive Captioners are Image-Text Foundation Models翻译

点击下载论文点击查看代码摘要在计算机视觉中探索大规模预训练基础模型是具有重大意义的，因为这些模型能很快被迁移到很多下游任务中。本篇论文提出了对比生成器(即CoCa)模型，结合对比损失和生成损失预训练一个基于图片-文本编码器-解码器的极简设计的基础模型，因此，它包含了像CLIP这种基于对比方法和像SimVLM这种基于生成方法的建模能力。与标准的基于编码器-解码器的所有的解码器层关注编码器的输出的tr

jjw_zyfx·2022-06-23 02:25

论文解读（gCooL）《Graph Communal Contrastive Learning》

论文信息论文标题：GraphCommunalContrastiveLearning论文作者：BolianLi,BaoyuJing,HanghangTong论文来源：2022,WWW论文地址：download论文代码：download1Introduction有相同兴趣的人

Learner-·2022-06-05 22:00

论文解读（GCC）《GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training》

论文信息论文标题：GCC:GraphContrastiveCodingforGraphNeuralNetworkPre-Training论文作者：JiezhongQiu,QibinChen,YuxiaoDong,JingZhang,HongxiaYang,Min

Learner-·2022-05-30 09:00

论文解读（SCGC)）《Simple Contrastive Graph Clustering》

论文信息论文标题：SimpleContrastiveGraphClustering论文作者：YueLiu,XihongYang,SihangZhou,XinwangLiu论文来源：2022,arXiv论文地址：download论文代码：download1Introduct

Learner-·2022-05-21 17:00

2022_WSDM_Contrastive Meta Learning with Behavior Multiplicity for Recommendation

[论文阅读笔记]2022_WSDM_ContrastiveMetaLearningwithBehaviorMultiplicityforRecommendation论文下载地址：https://doi.org/10.1145/3488560.3498527发表期刊：WSDMPublishtime:2022作者及单位:WeiWei1,3,ChaoHuang1,2∗,LianghaoXia1,Yong

XingHe_XingHe_·2022-05-15 07:03

Self-supervised Pre-training and Contrastive Representation Learning for Multiple-choice Video QA

AAAI2021AbstractInthispaper,weproposenoveltrainingschemesformultiple-choicevideoquestionansweringwithaself-supervisedpre-trainingstageandasupervisedcontrastivelearninginthemainstageasanauxiliarylearn-

cheetah023·2022-05-15 07:10

论文解读（ClusterSCL）《ClusterSCL: Cluster-Aware Supervised Contrastive Learning on Graphs》

论文信息论文标题：ClusterSCL:Cluster-AwareSupervisedContrastiveLearningonGraphs论文作者：YanlingWang,JingZhang,HaoyangLi,YuxiaoDong,HongzhiYin,Cuip

Learner-·2022-05-12 20:00

论文解读（SimGRACE）《SimGRACE: A Simple Framework for Graph Contrastive Learning without Data Augmentation》

论文信息论文标题：SimGRACE:ASimpleFrameworkforGraphContrastiveLearningwithoutDataAugmentation论文作者：JunXia,LirongWu,JintaoChen,BozhenHu,StanZ

Learner-·2022-05-10 21:00

论文解读（Debiased）《Debiased Contrastive Learning》

论文信息论文标题：DebiasedContrastiveLearning论文作者：Ching-YaoChuang,JoshuaRobinson,LinYen-Chen,AntonioTorralba,StefanieJegelka论文来源：2020,NeurIPS论文地址：

Learner-·2022-04-28 20:00

论文解读（MERIT）《Multi-Scale Contrastive Siamese Networks for Self-Supervised Graph Representation Learning

论文信息论文标题：Multi-ScaleContrastiveSiameseNetworksforSelf-SupervisedGraphRepresentationLearning论文作者：MingJin,YizhenZheng,Yuan-FangLi,ChenGo

Learner-·2022-04-26 23:00

论文解读（GROC）《Towards Robust Graph Contrastive Learning》

论文信息论文标题：TowardsRobustGraphContrastiveLearning论文作者：NikolaJovanović,ZhaoMeng,LukasFaber,RogerWattenhofer论文来源：2021,arXiv论文地址：download论文代码：

Learner-·2022-04-24 22:00

论文解读（CGC）《CGC: Contrastive Graph Clustering for Community Detection and Tracking》

论文信息论文标题：CGC:ContrastiveGraphClusteringforCommunityDetectionandTracking论文作者：NamyongPark,RyanRossi,EunyeeKoh,IftikharAhamathBurhanuddi

Learner-·2022-04-23 11:00

论文解读（GCC）《Graph Contrastive Clustering》

论文信息论文标题：GraphContrastiveClustering论文作者：HuasongZhong,JianlongWu,ChongChen,JianqiangHuang,MinghuaDeng,LiqiangNie,ZhouchenLin,Xian-Shen

Learner-·2022-04-18 23:00

Contrastive Graph Learning for Social Recommendation

摘要：由于图神经网络(GNN)在高阶连通性学习表示方面的优势，基于GNN的协同过滤在推荐系统中得到了广泛的应用。此外，为了克服数据稀疏性问题，最近一些基于GNN的模型尝试将社交信息纳入其中，并设计对比学习作为辅助任务，以协助主要推荐任务。现有的GNN和基于对比学习的推荐模型以对称的方式学习用户和项目表示，并以复杂的方式利用社会信息和对比学习。上述两种策略导致这些模型要么对于用户和项目之间严重不平衡

ZZZ___bj·2022-04-15 07:24

论文解读（GCA）《Graph Contrastive Learning with Adaptive Augmentation》

论文信息论文标题：GraphContrastiveLearningwithAdaptiveAugmentation论文作者：YanqiaoZhu、YichenXu3、FengYu4、QiangLiu、ShuWu、LiangWang论文来源：2021,WWW论文地址：down

Learner-·2022-04-12 19:00

论文解读（MCGC）《Multi-view Contrastive Graph Clustering》

论文信息论文标题：Multi-viewContrastiveGraphClustering论文作者：ErlinPan、ZhaoKang论文来源：2021,NeurIPS论文地址：download论文代码：download1介绍本文贡献：使用GraphFilter过滤了高阶噪

Learner-·2022-04-11 11:00

论文解读（MLGCL）《Multi-Level Graph Contrastive Learning》

论文信息论文标题：StructuralandSemanticContrastiveLearningforSelf-supervisedNodeRepresentationLearning论文作者：KaizeDing、YanchengWang、YingzhenYang、

Learner-·2022-04-10 16:00

论文解读（S^3-CL）《Structural and Semantic Contrastive Learning for Self-supervised Node Representation Learning

论文信息论文标题：StructuralandSemanticContrastiveLearningforSelf-supervisedNodeRepresentationLearning论文作者：KaizeDing、YanchengWang、YingzhenYang、

Learner-·2022-04-09 14:00

论文阅读"PiCO: contrastive label disambiguation for partial label learning"

WangH,XiaoR,LiY,etal.PiCO:ContrastiveLabelDisambiguationforPartialLabelLearning[J].arXivpreprintarXiv:2201.08984,2022.摘要翻译在这项工作中，作者通过在一个连贯的框架中解决PLL中的两个关键研究挑战——表示学习和标签消歧——来弥补这一差距。具体来说，所提出的框架PiCO由一个对比学习

掉了西红柿皮_Kee·2022-03-30 20:20

论文解读（GRACE）《Deep Graph Contrastive Representation Learning》

PaperInformation论文标题：DeepGraphContrastiveRepresentationLearning论文作者：YanqiaoZhu,YichenXu,FengYu,Q.Liu,ShuWu,LiangWang论文来源：2020,ArXiv论文地址：download代码地址：downloadAbstract在本文中，作者提出了一个利用节点级对比目标的无监督图表示学习框架。具体

Learner-·2022-03-28 11:00

论文解读（MVGRL）Contrastive Multi-View Representation Learning on Graphs

PaperInformation论文标题：ContrastiveMulti-ViewRepresentationLearningonGraphs论文作者：KavehHassani、AmirHoseinKhasahmadi论文来源：2020,ICML论文地址：download论文代码：downloadAbstract介绍了一种自监督的方法，通过对比图的结构视图来学习节点和图级别的表示。与视觉表示学习

Learner-·2022-03-27 16:00

【论文总结】FSCE: Few-Shot Object Detection via Contrastive Proposal Encoding（附翻译）

论文地址：https://arxiv.org/pdf/2103.05950.pdf代码地址：http://https://github.com/MegviiDetection/FSCE改进：主要是针对小样本检测中分类错误的问题，通过降低不同类别目标的相似性来减小类内差异，增大类间差异→对比学习整体框架：以FasterRCNN作为小样本目标检测的基本框架，采用两阶段的训练方法——第一阶段的训练集是大

小张好难瘦·2022-03-18 07:28

对比学习（Contrastive Learning）中的损失函数

文章目录写在前面一、InfoNoise-contrastiveestimation(InfoNCE)1.1描述1.2实现二、HCL2.1描述2.2实现三、文字解释四、代码解释4.1InfoNCE4.2HCL写在前面最近在基于对比学习做实验，github有许多实现，虽然直接套用即可，但是细看之下，损失函数部分甚是疑惑，故学习并记录于此。关于对比学习的内容网络上已经有很多内容了，因此不再赘述。本文

IMU_YY·2022-03-18 05:35

论文阅读《Representation learning with contrastive predictive coding 》（CPC）对比预测编码

论文地址：RepresentationLearningwithContrastivePredictiveCoding目录一、Background（背景）二、MotivationandIntuitions（动机）三、ConstrastivePredictiveCoding（对比预测编码）1、网络整体架构2、对比学习核心思想四、MutualInformatica&InfoNCE（互信息和信息熵损失）1

科研菜鸟的奇思妙想·2022-03-18 05:15

Noise Contrastive Estimation 前世今生——从 NCE 到 InfoNCE

文章首发于：https://zhuanlan.zhihu.com/p/3347723910前言作为刚入门自监督学习的小白，在阅读其中ContrastiveBased方法的论文时，经常会看到InfoNCE这个loss（在CPC的论文中提出），之前只知道它的思想来自于NCE以及代表什么含义，但是对其背后的理论推导、以及如何从NCE迁移到InfoNCE的思想不太清楚，因此这篇文章就是通过理论推导和自己的

LetheSec·2022-03-18 05:08

自监督、对比学习、contrastive learning、互信息、infoNCE等

=====更新时间：21.2.7祝大家节日快乐============73岁Hinton老爷子构思下一代神经网络：属于无监督对比学习无监督学习主要有两类方法（所以在label少的时候，unsupervisedlearning可以帮助我们学到data本身的high-levelinformation，这些information能够对downstreamtask有很大的帮助。）第一类的典型代表是BERT

一只想飞的咸鱼君·2022-03-18 05:32

对比学习（Contrastive Learning）综述

A.引入https://zhuanlan.zhihu.com/p/346686467A.引入深度学习的成功往往依赖于海量数据的支持，其中对于数据的标记与否，可以分为监督学习和无监督学习。1.监督学习：技术相对成熟，但是对海量的数据进行标记需要花费大量的时间和资源。2.无监督学习：自主发现数据中潜在的结构，节省时间以及硬件资源。2.1主要思路：自主地从大量数据中学习同类数据的相同特性，并将其编码为高

c2a2o2·2022-03-18 05:00

Raki的读paper小记：SimCSE: Simple Contrastive Learning of Sentence Embeddings

Abstract&Introduction&RelatedWork研究任务sentenceembedding已有方法和相关工作面临挑战创新思路用一种非常简单的无监督对比学习方法，来预测自己，仅仅使用标准的dropout作为噪声与以前的工作不同的是，之前的工作将其作为一个三分类任务（蕴含、中性和矛盾），我们利用蕴含对可以自然地作为正向实例的事实实验结论sota我们发现，dropout作为最小的数据增

爱睡觉的Raki·2022-03-14 07:14

推荐频道

Contrastive