Contrastive 第9页

论文阅读“Deep Contrastive Learning for Multi-View Network Embedding”

ZhangM,ZhuY,WuS,etal.DeepContrastiveLearningforMulti-ViewNetworkEmbedding[J].arXivpreprintarXiv:2108.08296,2021.摘要部分多视图网络嵌入学习的目标是将网络中的节点映射成低维向量，并同时保留多种关系和属性信息。基于对比学习的已经在这项工作中展现出较为先进的性能。然而，绝大多数这类方法都依赖于

掉了西红柿皮_Kee·2021-12-06 15:45

因果推断推荐系统工具箱 - Contrastive Learning for Debiased Candidate Generation in Large-Scale Recommender ...

文章名称【KDD-2021】【DAMOAcademy,AlibabaGroup】ContrastiveLearningforDebiasedCandidateGenerationinLarge-ScaleRecommenderSystems核心要点文章旨在将ULTR应用到E-commerce的场景，解决原有（检索场景中提出的）方法的两个问题。1）在E-commerce推荐结果不是单列瀑布流而是两列

processor4d·2021-11-13 23:03

A Survey on Contrastive Self-Supervised Learning(对比式自监督学习研究)-----pretext tasks、Downstream task解释

摘自MDPI：ASurveyonContrastiveSelf-SupervisedLearning摘要部分：Self-supervisedlearning(自监督学习)hasgainedpopularitybecauseofitsabilitytoavoidthecostofannotating(给…做注释)large-scaledatasets.Itiscapableofadoptingsel

秃头小苏·2021-10-03 17:10

论文阅读“ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer”

YanY,LiR,WangS,etal.ConSERT:AContrastiveFrameworkforSelf-SupervisedSentenceRepresentationTransfer[J].arXivpreprintarXiv:2105.11741,2021.摘要粗读学习高质量的句子表征有利于广泛的自然语言处理任务。虽然基于BERT的预训练语言模型在许多下游任务上都取得了很高的性能，但

掉了西红柿皮_Kee·2021-09-15 21:07

论文阅读“Graph Contrastive Clustering”

ZhongH,WuJ,ChenC,etal.GraphContrastiveClustering[J].arXivpreprintarXiv:2104.01429,2021.摘要翻译最近，人们提出了一些对比学习方法来同时学习表征和聚类分配，取得了明显的改善。然而，这些方法并没有考虑到类别信息和聚类目标，因此学习到的表征并不是最优的聚类方法，其聚类性能可能会受到限制。为了解决这个问题，我们首先提出了

掉了西红柿皮_Kee·2021-06-21 14:36

论文阅读“Supporting Clustering with Contrastive Learning”

ZhangD,NanF,WeiX,etal.SupportingClusteringwithContrastiveLearning[J].arXivpreprintarXiv:2103.12953,2021.摘要翻译无监督聚类的目的是根据在表示空间中测量的距离来发现数据的语义类簇。然而，在学习过程的开始，不同的类簇通常在表示空间中相互重叠，这给基于距离的聚类（实现了不同类别之间的良好分离）带来了重

掉了西红柿皮_Kee·2021-06-14 17:20

【NLP论文笔记】SimCSE: Simple Contrastive Learning of Sentence Embeddings--random dropout mask（SimCSE）

论文链接：https://arxiv.org/pdf/2104.08821.pdf基本目录如下：摘要核心思想总结------------------第一菇-摘要------------------1.1论文摘要------------------第一菇-核心思想------------------2.1核心思想------------------第三菇-总结------------------3.

蘑菇轰炸机·2021-06-11 13:45

Contrastive Learning, MoCo 对比学习 2021-05-09

深度神经网络有着强大的表征能力一张输入图片经过层层变换表达为一个特征向量如果是监督学习，特征的预测结果可以和标签比对作为损失函数；那如果是无监督学习，没有label,损失函数该如何构建？该如何判断一个好的表征？学习不同分类的特征ContrastiveLearning给出的答案很简单，同类图像最后得到的特征向量应该在特征空间是相似的,而不同类之间应该尽可能的远，这就是对比学习。但是没有label，还

不想读Paper·2021-05-18 05:52

Mask-guided Contrastive Attention Model for Person Re-Identification 详解

gbyy42299·2020-09-16 02:24

代码系列：Keras实现自定义contrastive loss及多输入多输出model

以contrastiveloss为例，contrastiveloss用于成对的数据(pairdata)，通常出现在孪生网络(siamesenetwork)中，公式如下：其中，表示输入的pairdata的特征向量；表示pairdata的标签是否相同，取值为0(不同)或1(相同)；表示之间的距离(一般为欧式距离)，表达式如下：因此整个contrastiveloss的定义为：输入的pairdata如果是

lyn_beginning·2020-09-15 02:10

KDD 2020（二） | GCC：图上的Contrastive Coding（作者带你读论文）

⬆⬆⬆点击蓝字关注我们AITIME欢迎每一位AI爱好者的加入！论文：GCC:GraphContrastiveCodingforGraphNeuralNetworkPre-Training作者：JiezhongQiu，QibinChen，YuxiaoDong，JingZhang，HongxiaYang，MingDing，KuansanWang，JieTang会议：InThe26thACMSIGKDD

AITIME论道·2020-09-14 03:10

自监督学习综述 | Self-supervised Learning: Generative or Contrastive

作者：XiaoLiu,FanjinZhang,ZhenyuHou,LiMian,ZhaoyuWang,JingZhang,JieTangSelf-supervisedLearning:GenerativeorContrastive摘要在过去的十年中，深度监督学习取得了巨大的成功。但是，由于它对手动标签的依赖和容易受到攻击的缺点，促使人们寻求更好的解决方案。作为替代，自监督学习（SSL）在过去几年中

小软同学·2020-09-05 11:37

非归一化统计模型的噪声对比估计（NCE，Noise-Contrastive Estimation）（一）

1、介绍本文介绍一种“参数化密度函数”的估计方法。设样本服从一个未知的概率密度函数（pdf），其中。使用参数化函数族来模拟，其中为参数向量。通常假设属于这一函数族，即。的任何估计必须满足如下两个限制条件：如果对于所有来说（不只是），都满足上述两个限制条件，则称模式为“归一化的”，最大似然方法可以用来估计。如果仅满足非负的条件而不满足正则化的条件，则称模型为“非归一化的”。设模型非归一化，分区函数为

shanghai_in_summer·2020-08-19 04:13

2020 AAAI之ReID：Attend to the Difference: Cross-Modality Person Re-identification via Contrastive

AttendtotheDifference:Cross-ModalityPersonRe-identificationviaContrastiveCorrelation当前的问题及概述：本文针对1，在featureembedding中，以往的工作通常经过GAP和全连接层，输出的是二维向量（如1×1×2048），不能保持很好的空间特征，人类在比较两个相似物体时通常会注意到它们之间的差异这一特点，提出

matlabLKL·2020-08-18 11:06

孪生神经网络Contrastive Loss (对比损失)

ContrastiveLoss(对比损失)在caffe的孪生神经网络（siamesenetwork）中，其采用的损失函数是contrastiveloss，这种损失函数可以有效的处理孪生神经网络中的paireddata的关系。contrastiveloss的表达式如下：其中d=||an−bn||2，代表两个样本特征的欧氏距离，y为两个样本是否匹配的标签，y=1代表两个样本相似或者匹配，y=0则代表不

猪逻辑公园·2020-08-16 00:23

Contrastive Multiview Coding（多视角的对比学习编码）

原文题目为：ContrastiveMultiviewCoding代码链接：https://github.com/HobbitLong/CMC引言本文主要提出了Multiview的contrastivelearning。motivation是现实世界中看待同一个物体具有多个视角，每一个视角都是有噪声和不完整的，但是一些对于该物体很重要的元素，例如physics（物理）,geometry（几何）,an

winycg·2020-08-09 02:46

自监督：对比学习contrastive learning

对比自监督学习英文原文对比自监督学习导读利用数据本身为算法提供监督。对比自监督学习技术是一种很有前途的方法，它通过学习对使两种事物相似或不同的东西进行编码来构建表示。自监督方法将取代深度学习中占主导地位的直接监督范式的预言已经存在了相当一段时间。AlyoshaEfros打了一个著名的赌，赌在2015年秋季之前，一种无监督的方法将会在检测PascalVOC方面胜过有监督的R-CNN。但四年之后，他的

vieo·2020-08-04 06:34

如何更好的写作一篇论文(简单的方法，不简单的论文)：A Simple Framework for Contrastive Learning of Visual Representations

ASimpleFrameworkforContrastiveLearningofVisualRepresentationsTingChen1SimonKornblith1MohammadNorouzi1GeoffreyHinton1发布于2020.02.13地址：https://arxiv.org/abs/2002.05709这篇论文其实早就想分享一下了，只是一直耽搁到了现在。虽然论文目前应该是还

Enjoy_endless·2020-07-06 21:43

Contrastive Loss(对比损失)

ContrastiveLoss在传统的siamesenetwork中一般使用ContrastiveLoss作为损失函数，这种损失函数可以有效的处理孪生神经网络中的paireddata的关系。siamesenetwork-孪生神经网络contrastiveloss的表达式如下：#tensorflow伪代码defcontrastive_loss(self,y,d,batch_size):tmp=y*t

致Great·2020-06-30 06:16

Contrastive Loss，Triplet Loss

孪生神经网络（siamesenetwork）中，其采用的损失函数是contrastiveloss，这种损失函数可以有效的处理孪生神经网络中的paireddata的关系。contrastiveloss的表达式如下：其中d=||an−bn||2，代表两个样本特征的欧氏距离，y为两个样本是否匹配的标签，y=1代表两个样本相似或者匹配，y=0则代表不匹配，margin为设定的阈值。TripletLoss损

走投无路的乐乐·2020-06-27 04:13

论文笔记：Contrastive Learning for Image Captioning

原文链接：ContrastiveLearningforImageCaptioningIntroduction本文的提出的ContrastiveLearning(CL)主要是为了解决ImageCaption任务中生成的Caption缺少Distinctiveness的问题。这里的Distinctiveness可以理解为独特性，指的是对于不同的图片，其caption也应该是独特的、易于区分的。**即在

Jamiechoi·2020-06-26 10:39

Article Analysis(AA): A Simple Framework for Contrastive Learning of Visual Representations

本文为读文章笔记，受所学所知限制，如有出错，恭请指正。ASimpleFrameworkforContrastiveLearningofVisualRepresentations作者：TingChen,SimonKornblith,MohammadNorouzi,GeoffreyHinton本文提出一种简洁有效的设计的无监督设计，并且以7%的margin刷新了SOTA。摘要直译：这篇文章提出了Sim

mumoDM·2020-06-24 16:07

读文献：A Simple Framework for Contrastive Learning of Visual Representations心得

摘要：为了了解什么使对比预测任务能够学习有用的表示，我们系统地研究了框架的主要组成部分。（1）数据增强的组合在定义有效的预测任务方面起着关键作用；（2）在表示和对比损失之间引入一个可学习的非线性变换，大大提高了学习表示的质量。（3）与有监督学习相比，对比学习可以从更大的批量和更多的训练步骤中获益。通过结合这些发现，我们能够在ImageNet上大大优于以前的自监督和半监督学习方法。由SimCLR学习

宇弦酒仙·2020-06-24 12:51

Contrastive Loss 对比损失函数及梯度的计算

Contrastiveloss最初源于YannLeCun“DimensionalityReductionbyLearninganInvariantMapping”CVPR2006。该损失函数主要是用于降维中，即本来相似的样本，在经过降维（特征提取）后，在特征空间中，两个样本仍旧相似；而原本不相似的样本，在经过降维后，在特征空间中，两个样本仍旧不相似。同样，该损失函数也可以很好的表达成对样本的匹配程

SmileLing~·2020-06-23 08:37

对比学习（Contrastive Learning）相关进展梳理

©PaperWeekly原创·作者｜李磊学校｜西安电子科技大学本科生研究方向｜自然语言处理最近深度学习两巨头Bengio和LeCun在ICLR2020上点名Self-SupervisedLearning（SSL，自监督学习）是AI的未来，而其的代表的Framework便是ContrastiveLearning（CL，对比学习）。另一巨头Hinton和Kaiming两尊大神也在这问题上隔空过招，Mo

PaperWeekly·2020-06-22 19:22

论文5分钟 | supervised contrastive learning

摘要：Crossentropyisthemostwidelyusedlossfunctionforsupervisedtrainingofimageclassificationmodels.Inthispaper,weproposeanoveltrainingmethodologythatconsistentlyoutperformscrossentropyonsupervisedlearning

_呀·2020-06-22 07:12

一文理解Ranking Loss/Contrastive Loss/Margin Loss/Triplet Loss/Hinge Loss

一文理解RankingLoss/ContrastiveLoss/MarginLoss/TripletLoss/HingeLoss翻译自FesianXu，2020/1/13,原文链接https://gombru.github.io/2019/04/03/ranking_loss/前言rankingloss在很多不同的领域，任务和神经网络结构（比如siamesenet或者Tripletnet）中被广泛

FesianXu·2020-06-22 00:47

深度学习方法（十九）：一文理解Contrastive Loss，Triplet Loss，Focal Loss

文章目录1.ContrastiveLoss(对比loss)2.TripletLoss（三元loss）3.FocalLoss[5]3.1引申讨论：其他形式的FocalLoss参考资料本文记录一下三种常用的lossfunction：ContrastiveLoss，TripletLoss，FocalLoss。其中前面两个可以认为是rankingloss类型，FocalLoss是针对正负样本极其不均衡情况

大饼博士X·2020-06-21 14:49

深度学习方法（二十）：Hinton组最新无监督学习方法SimCLR介绍，以及Momentum Contrastive(MoCo)

本篇文章记录一下最近发表的两个比较类似的无监督representationlearning工作：SimCLR——Hinton组的工作，第一作者TingChenMoCov2——HeKaiming组的工作，第一作者XinleiChenSimCLR该研究一次就把无监督学习（学习后再用于分类等后续任务）的指标提升了7-10%，甚至可以媲美有监督学习的效果。在这篇论文中，研究者发现[4]：多个数据增强方法组

大饼博士X·2020-06-21 14:49

A Simple Framework for Contrastive Learning of Visual Representations

TingChen，SimonKornblith，MohammadNorouzi，GeoffreyHinton 本文介绍了SimCLR：用于视觉表示的对比学习的简单框架。我们简化了最近提出的对比自我监督学习算法，而无需专门的架构或存储库。为了了解什么使对比预测任务能够学习有用的表示形式，我们系统地研究了框架的主要组成部分。我们表明，（1）数据扩充的组合在定义有效的预测任务中起着至关重要的作用；（2

jinminbox·2020-04-22 12:41

Contrastive Loss(对比损失)

ContrastiveLoss在传统的siamesenetwork中一般使用ContrastiveLoss作为损失函数，这种损失函数可以有效的处理孪生神经网络中的paireddata的关系。siamesenetwork-孪生神经网络contrastiveloss的表达式如下：#tensorflow伪代码defcontrastive_loss(self,y,d,batch_size):tmp=y*t

致Great·2019-11-02 23:17

Contrastive Divergence：一种结合变分推断与MCMC的方法

本文是对AContrastiveDivergenceforCombiningVariationalInferenceandMCMC的笔记整理。Introduction这篇文章是将VI和MCMC结合的一篇很有意思的文章。他的基本思想沿用了RBM中的ContrastiveDivergence方法。他通过采用MCMC的方法来对变分函数q进行抽样从而得到更加准确的变分函数，然后再以此更新变分函数的参数，以

qjgods·2019-06-14 11:01

对比损失Contrastive Loss

【时间】2-019.01.21【题目】对比损失ContrastiveLossPS：本文转载自ContrastiveLossContrastiveLoss在传统的siamesenetwork中一般使用ContrastiveLoss作为损失函数，这种损失函数可以有效的处理孪生神经网络中的paireddata的关系。siamesenetwork-孪生神经网络contrastiveloss的表达式如下：其

C小C·2019-01-21 15:24

深度嵌入学习“Sampling Matters in Deep Embedding Learning”

知乎专栏：https://zhuanlan.zhihu.com/p/27748177在检索和验证任务中，经常使用contrastive损失或triplet损失作为损失函数，大多数论文也主要关注如何选取损失函数

cv_family_z·2018-10-25 17:30

Contrastive Loss(Siamese Network)

ContrastiveLoss(对比损失)孪生神经网络（siamesenetwork）中，其采用的损失函数是contrastiveloss，这种损失函数可以有效的处理孪生神经网络中的paireddata的关系。contrastiveloss的表达式如下：其中d=||an−bn||2，代表两个样本特征的欧氏距离，y为两个样本是否匹配的标签，y=1代表两个样本相似或者匹配，y=0则代表不匹配，marg

Saul Zhang·2018-02-14 17:39

多任务学习“Embedding Label Structures for Fine-Grained Feature Representation”

为了获得精细粒度的特征表示，一些方法加入similarity约束，如contrastive、tiplet损失。直接使用相似度约束在找相同的实例中比较

cv_family_z·2017-10-25 15:54

人脸识别正则化系列之normface

今天介绍一下NormFace:L2HypersphereEmbeddingforFaceVerificationMotivation希望利用正则化解决两个问题：1.人脸识别任务里面的loss有softmax、contrastive

迷途中一个小书童·2017-09-30 14:00

深度学习算法：CD算法（Contrastive Divergence）

From：http://blog.csdn.net/qian2729/article/details/50542764尽管利用Gibbs采样，我们可以得到对数似然函数关于未知参数梯度的近似，但是通常情况下，需要使用较大的采样步数，这使得RBM的训练效率仍然不高，尤其当观测数据的特征维数较高时。2002年Hinton提出了RBM的一个快速学习算法，对比散度算法(ContrastiveDivergen

xuzheng_1982·2017-01-23 16:00

Contrastive Loss (对比损失)

ContrastiveLoss(对比损失)在caffe的孪生神经网络（siamesenetwork）中，其采用的损失函数是contrastiveloss，这种损失函数可以有效的处理孪生神经网络中的paireddata的关系。contrastiveloss的表达式如下：L=12N∑n=1Nyd2+(1−y)max(margin−d,0)2其中d=||an−bn||2，代表两个样本特征的欧氏距离，y为

autocyz·2016-11-13 16:03

深度学习方法：受限玻尔兹曼机RBM（四）对比散度contrastive divergence，CD

欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。技术交流QQ群：433250724，欢迎对算法、技术、应用感兴趣的同学加入上篇讲到，如果用GibbsSampling方法来训练rbm会非常慢，本篇中介绍一下对比散度contrastivedivergence，CD算法。我们希望得到P(v)分布下的样本，而我们有训练样本，可以认为训练样本就是服从P(v)的。因此

xbinworld·2015-12-31 22:00

读书笔记－《Training Products of Experts by Minimizing Contrastive Divergence》

Training Products of Experts by Minimizing Contrastive Divergence(以下简称 PoE)是 DBN 和深度学习理论的肇始之篇,最近在爬梳和学习

·2015-11-11 04:35

CAFFE CONTRASTIVE_LOSS 对比损失函数

一、contrastive_loss，对应contrastive_loss_layer，我看了看代码，这个应该是输入是一对用来做验证的数据，比如两张人脸图，可能是同一个人的（正样本），也可能是不同个人（

u014114990·2015-08-25 11:00

contrastive divergence 算法

原文链接在这里http://blog.sina.com.cn/s/blog_5980285201014pwy.html把>这篇论文看了一遍，其实只看了一半觉得PoE和contrastivedivergence以及RBM学习算法这部分可以过了主要意思是这样的：1.RBM是PoE的一个特例2.PoE可以用contrastivedivergence来进行学习3.contrastivedivergence

richard2357·2014-04-12 15:00

【deep learning学习笔记】注释yusugomori的RBM代码 --- cpp文件 -- 模型训练

关键是CD-k（contrastive_divergence）算法的实现。

xceman1997·2013-07-13 23:00

DBN(PoE and Contrastive Divergence)

把>这篇论文看了一遍，其实只看了一半觉得PoE和contrastivedivergence以及RBM学习算法这部分可以过了主要意思是这样的：1.RBM是PoE的一个特例2.PoE可以用contrastivedivergence来进行学习3.contrastivedivergence的学习方法大致是这样的：本来是要进行极大似然学习的，也就是计算目标函数对权重的偏导数，并且使权重沿偏导数方向移动但是偏

ncztc·2013-05-14 22:00

推荐频道

Contrastive

论文阅读“Deep Contrastive Learning for Multi-View Network Embedding”

因果推断推荐系统工具箱 - Contrastive Learning for Debiased Candidate Generation in Large-Scale Recommender ...

A Survey on Contrastive Self-Supervised Learning(对比式自监督学习研究)-----pretext tasks、Downstream task解释

论文阅读“ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer”

论文阅读“Graph Contrastive Clustering”

论文阅读“Supporting Clustering with Contrastive Learning”

【NLP论文笔记】SimCSE: Simple Contrastive Learning of Sentence Embeddings--random dropout mask（SimCSE）

Contrastive Learning, MoCo 对比学习 2021-05-09

Mask-guided Contrastive Attention Model for Person Re-Identification 详解

代码系列：Keras实现自定义contrastive loss及多输入多输出model

KDD 2020（二） | GCC：图上的Contrastive Coding（作者带你读论文）

自监督学习综述 | Self-supervised Learning: Generative or Contrastive

非归一化统计模型的噪声对比估计（NCE，Noise-Contrastive Estimation）（一）

2020 AAAI之ReID：Attend to the Difference: Cross-Modality Person Re-identification via Contrastive

孪生神经网络Contrastive Loss (对比损失)

Contrastive Multiview Coding（多视角的对比学习编码）

自监督：对比学习contrastive learning

如何更好的写作一篇论文(简单的方法，不简单的论文)：A Simple Framework for Contrastive Learning of Visual Representations

Contrastive Loss(对比损失)

Contrastive Loss，Triplet Loss

论文笔记：Contrastive Learning for Image Captioning

Article Analysis(AA): A Simple Framework for Contrastive Learning of Visual Representations

读文献：A Simple Framework for Contrastive Learning of Visual Representations心得

Contrastive Loss 对比损失函数及梯度的计算

对比学习（Contrastive Learning）相关进展梳理

论文5分钟 | supervised contrastive learning

一文理解Ranking Loss/Contrastive Loss/Margin Loss/Triplet Loss/Hinge Loss

深度学习方法（十九）：一文理解Contrastive Loss，Triplet Loss，Focal Loss

深度学习方法（二十）：Hinton组最新无监督学习方法SimCLR介绍，以及Momentum Contrastive(MoCo)

A Simple Framework for Contrastive Learning of Visual Representations

Contrastive Loss(对比损失)

Contrastive Divergence：一种结合变分推断与MCMC的方法

对比损失Contrastive Loss

深度嵌入学习“Sampling Matters in Deep Embedding Learning”

Contrastive Loss(Siamese Network)

多任务学习“Embedding Label Structures for Fine-Grained Feature Representation”

人脸识别正则化系列之normface

深度学习算法：CD算法（Contrastive Divergence）

Contrastive Loss (对比损失)

深度学习方法：受限玻尔兹曼机RBM（四）对比散度contrastive divergence，CD

读书笔记－《Training Products of Experts by Minimizing Contrastive Divergence》

CAFFE CONTRASTIVE_LOSS 对比损失函数

contrastive divergence 算法

【deep learning学习笔记】注释yusugomori的RBM代码 --- cpp文件 -- 模型训练

DBN(PoE and Contrastive Divergence)