Contrastive

Simple Graph Contrastive Learning for Recommendation

title：AreGraphAugmentationsNecessary?SimpleGraphContrastiveLearningforRecommendationlink：https://arxiv.org/pdf/2112.08679.pdfcode：https://github.com/Coder-Yu/QRecfrom：SIGIR20221.导读本文是针对图对比学习在推荐系统中的应用而
怼怼是酷盖·2022-12-22 14:28

Simple Graph Contrastive Learning for Recommendation

补充：特征对齐、均匀分布Embedding里能够保留更多个性化的信息，这又代表什么呢？举个例子，比如有两张图片，都是关于狗的，但是一张是在草地上跑的黑狗，一张是在水里游泳的白狗。如果在投影成Embedding后，模型能各自保留各自的个性化信息，那么两张图片在投影空间里面是有一定距离的，以此表示两者的不同。而这就代表了分布的均匀性，指的是在投影球面上比较均匀，而不会说因为都是关于狗的图片，而聚到球面
ZZZ___bj·2022-12-22 14:52

Simple Yet Effective Graph Contrastive Learning for Recommendation

1.摘要  图神经网络(GNN)是一种强大的基于图的推荐系统学习方法。最近，结合对比学习的gnn在处理高度稀疏数据时，在数据增强方案的推荐方面表现出了优异的性能。尽管它们取得了成功，但大多数现有的图对比学习方法要么在用户-项目交互图上执行随机增强(例如，节点/边缘扰动)，要么依赖基于启发式的增强技术(例如，用户聚类)来生成对比视图。我们认为，这些方法不能很好地保持语义的内在结构，并且容易受到噪声扰
回锅肉炒肉·2022-12-22 14:48

A Simple Framework for Contrastive Learning of Visual Representations

ASimpleFrameworkforContrastiveLearningofVisualRepresentations2020年，已开源SimCLR参考文章点击这里参考文章主要思想：1、对比学习是什么？对比学习就是让机器去学会区分相似和不相似的事物。相似与不相似图像的定义：假设送入网络的一批图像有2个AB，对一个图像A进行数据增强方式得到A1,A2,对B进行数据增强得到B1,B2。则A1A2之
每天都想要出去玩鸭~·2022-12-22 13:35

风格迁移篇--CCPL：Contrastive Coherence Preserving Loss for Versatile Style Transfer多功能风格转换的对比连贯保持损失

文章目录Abstract1Introduction2RelatedWorks3Methods3.1ContrastiveCoherencePreservingLoss3.2SimpleCovarianceTransformation3.3LossFunction4Experiments4.1Experimentalsettings4.2ComparisonwithFormerMethods4.3A
啊菜来了·2022-12-22 06:57

类感知对比半监督学习(Class-Aware Contrastive Semi-Supervised Learning)论文阅读笔记

文献地址：论文链接，Github代码：Github链接1研究背景现有基于伪标签的半监督学习方法存在的问题：伪标签→存在确认偏差（ConfirmationBias）分布外噪声数据→影响模型的判别能力是否存在一种通用增益方法，可适用于各基于伪标签的半监督方法？MixMatch[1](NIPS,2019)：数据Mixup→预测锐化（Sharpen）FixMatch[2](NIPS,2020)：置信度阈值
Remoa·2022-12-21 21:33

论文阅读“CCGL: Contrastive Cascade Graph Learning”（TKDE2022）

论文标题CCGL:ContrastiveCascadeGraphLearning论文作者、链接作者：Xu,XoveeandZhou,FanandZhang,KunpengandLiu,Siyuan链接：CCGL:ContrastiveCascadeGraphLearning|IEEEJournals&Magazine|IEEEXploreIntroduction逻辑论文动机&现有工作存在的问题（1
不吃香菜的zbw·2022-12-21 17:04

2020[NIPS] Graph Contrastive Learning with Augmentations 用于图数据增强的图对比学习

目录AbstractIntroduction研究意义与难点贡献概念补充Method图的数据增强图对比学习GraphCLDiscussion图对比学习中数据增强扮演的角色有效图扩充的类型、范围和模式ComparsionConclusionBroaderImpactAbstract对图结构化数据的通用性，可迁移性和鲁棒性表示的学习任务仍然是当前图神经网络（GNN）面临的挑战。与针对卷积神经网络（CNN
YoHu人家·2022-12-19 00:48

Knowledge Graph Contrastive Learning for Recommendation（论文笔记）

模型流程：1.Relation-awareKnowledgeAggregation这一部分讲解下面两种模型，获取entity和item的第一阶段（first-stage）的表示向量。1.1KnowledgeAggregationwithRelationHeterogeneity讲解本文使用的获取item在网络结构上表示向量的方法。采用类GAT的GNN方式。1.2SemanticRepresenta
二流子学程序·2022-12-19 00:18

Graph Contrastive Learning with Augmentations

GraphContrastiveLearningwithAugmentations图增强对比学习孪生网络框架，用于学习数据的无监督学习表示。设计了四种不同的图扩充方法对比学习目的：通过不同扩充视图下最大化特征一致性来学习表示形式。总结基于孪生网络的对比学习，提出了图数据上的增强方式
Vectery·2022-12-19 00:17

论文浅尝 | Knowledge Graph Contrastive Learning for Recommendation

笔记整理：刘尧锟，天津大学硕士链接：https://arxiv.org/pdf/2205.00976.pdf动机知识图谱已被用作有用的辅助信息来提高推荐质量。在这些推荐系统中，知识图谱信息通常包含丰富的事实和项目之间的内在语义相关性。然而，此类方法的成功依赖于高质量的知识图谱，并且可能无法学习质量表示，面临两个挑战：i）实体的长尾分布导致KG增强项目表示的监督信号稀疏；ii)现实世界的知识图谱通常
开放知识图谱·2022-12-19 00:47

【层级多标签文本分类】Incorporating Hierarchy into Text Encoder: a Contrastive Learning Approach for Hierarchic

IncorporatingHierarchyintoTextEncoder:aContrastiveLearningApproachforHierarchicalTextClassification1、背景1、作者（第一作者和通讯作者）   王子涵，王厚峰2、单位   PekingUniversity3、年份   20224、来源   ACL2、四个问题1、要解决什么问题？   层次文本分类是多标
wuli_乖·2022-12-18 11:14

论文解读《Semi-supervised Contrastive Learning for Label-efficient Medical Image Segmentation》

论文解读《半监督对比学习高效标签的医学图像分割》期刊名：MICCAI2021代码：代码地址论文地址：论文地址一、摘要：1）深度学习在医学图像分割中，依赖标注数据的监督训练。2）生物医学图像的注释需要该领域知识。3）对比学习学习数据（不带标签）有利于隐藏层特征提取。4）预训练处理部分标签信息，监督局部对比损失，相同标签的像素聚集在嵌入空间（embeddingspace）周围。5）计算损失需要像素级的
渔歌畅晚·2022-12-17 22:07

Self-Guided Contrastive Learning for BERT Sentence Representations

文章链接:《Self-GuidedContrastiveLearningforBERTSentenceRepresentations》文章的背景:尽管bert及后续很多优化的变体，但是对用于句子相似度计算的句子如何最优的表征,这块的结论并不是很清晰。比如之前常用的方法是直接取bert的倒数第一层或者倒数第二层的[cls]向量作为句子表征。然而我们实际中拿这个[cls]向量直接计算句子相似度的时候就
chvalrous·2022-12-16 07:22

【自监督论文阅读笔记】Contrastive Learning Rivals Masked Image Modeling in Fine-tuning via Feature Distillation

掩码图像建模(MIM)学习表示具有非常好的微调性能，盖过了以前流行的预训练方法，如图像分类、实例对比学习和图像-文本对齐。在本文中，证明了这些预训练方法的较差微调性能可以通过以特征蒸馏(FD)形式的简单后处理来显著改善。特征蒸馏将旧的表示转换成新的表示，新的表示具有一些期望的属性，就像MIM产生的那些表示一样。这些属性，我们统称为optimizationfriendliness优化友好性，通过一组
YoooooL_·2022-12-14 15:10

论文解读 VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding

一.摘要在本文中，作者提出了VideoCLIP，这是一种不需要下游任务的任何标签，用于预训练零样本视频和文本理解模型的对比学习方法。VideoCLIP通过对比时间重叠的正视频文本对和最近邻检索的负样本对，训练视频和文本的Transformer。在本文中，作者对一系列下游任务（包括序列级文本视频检索、VideoQA、token级动作定位和动作分割）进行了实验，实验结果表明本文提出的VideoCLIP
cv_lhp·2022-12-14 06:18

万物皆Contrastive Learning，从ICLR和NIPS上解读对比学习最新研究进展

所列举的论文涉及领域包括但不限于CV,NLP,Audio,Video,Multimodal,Graph,Languagemodel等，GitHub地址：https://github.com/coder-duibai/Contrastive-Learning-Papers-Codes
程序员对白·2022-12-14 00:54

【学习笔记】对比学习综述 （Contrastive Learning Review）

ContrastiveLearningReview朱毅大佬视频讲解笔记对比学习论文综述【论文精读】_哔哩哔哩_bilibili1百花齐放（18-19年中）1.1InstDiscUnsupervisedFeatureLearningviaNon-ParametricInstanceDiscrimination里程碑式的工作，提出用InstDisc和NCEloss进行对比学习把全部图像的特征存在Mem
Merengue_l·2022-12-13 21:51

ReCoLe Relation-dependent Contrastive Learning withCluster Sampling for Inductive Relation Predicti

摘要关系预测是为了补全知识图而设计的任务，旨在预测实体之间缺失的关系。近年来，基于子图的归纳关系预测模型受到越来越多的关注，该模型可以根据候选三元组周围提取的子图来预测不可见实体的关系。然而，由于它们不能预测看不见的关系，它们不是完全归纳的。此外，他们没有充分重视关系的作用，仅仅依靠模型学习参数化的关系嵌入，导致长尾关系预测不准确。本文引入关系依赖对比学习(ReCoLe)进行归纳关系预测，该方法将
小蜗子·2022-12-13 10:05

【论文翻译】Graph Contrastive Learning with Augmentations

GraphContrastiveLearningwithAugmentations目录GraphContrastiveLearningwithAugmentations摘要1，引言2，相关工作3，方法论3.1，图形的数据增强3.2，图对比学习4，数据增强在图形对比学习中的作用4.1，数据指导是至关重要的。构成指导的好处。4.2，有效图形增强的类型、范围和模式4.3，与“更硬”的任务不同，过于简单的
孤天·2022-12-12 21:50

【论文阅读】Interventional Video Grounding with Dual Contrastive Learning

阅读目标2021-CVPR上面利用因果理论（干预）来解决数据集的选择性偏置（selectionbias）问题的，在2021-SIGIR上面也有一篇类似的，DeconfoundedVideoMomentRetrievalwithCausalIntervention，也使用因果理论解决了bias问题，所以这次的学习目标：对比两篇文章在动机和方法上的不同总结vmr领域应对bias的方法阅读回答为了方便，
反科研pua所所长·2022-12-12 19:55

InfoMax-GAN: 通过信息最大化（Information Maximization）和对比学习（Contrastive Learning）改进对抗（Adversarial）图像生成

目录0.摘要1.介绍2.背景3.InfoMax-GAN3.1框架3.2ContrastiveLoss3.3缓解CatastrophicForgetting3.4缓解ModeCollapse4.Experiment4.1ExperimentSettings4.2生成性能评估4.3TrainingStability4.4低计算量4.5消融实验（AblationStudies）5.补充：谱归一化（spe
EDPJ·2022-12-10 21:05

自步对比学习（Self-paced Contrastive Learning with Hybrid Memory for Domain Adaptive Object Re-ID）

自步对比学习（Self-pacedContrastiveLearningwithHybridMemoryforDomainAdaptiveObjectRe-ID）简介文章来源目标重识别上面的链接就有很好的介绍，主要怎么理解该问题。个人理解：用简单的大白话来说，该任务的执行过程应该是对于某个目标先进行类似于确定的操作，再在譬如不同摄像机，场景下，再次将该目标识别出来。领域自适应知乎深度学习大讲堂个人
sansheng0208·2022-12-10 20:10

SimKGC: Simple Contrastive Knowledge Graph Completion withPre-trained Language Models

摘要知识图补全(KGC)旨在对已知事实进行推理，并推断缺失的环节。基于文本的方法，如KGBERT(Yao等人，2019)从自然语言描述中学习实体表示，并具有归纳KGC的潜力。然而，基于文本的方法的性能仍然大大落后于基于图嵌入的方法，如TransE(Bordesetal,2013)和RotatE(Sunetal,2019b)。在本文中，我们认为关键问题是有效的对比学习。为了提高学习效率，我们引入了三
小蜗子·2022-12-10 16:03

浅聊对比学习（Contrastive Learning）

点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达作者丨parasol@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/521614413编辑丨极市平台导读本文通过解读对比学习的经典论文和综述，介绍对比学习的概念，主流方法和优势。对于不同方法的算法设计和实验结果，作者提供了他的深入思考。什么是对比学习？Metricslearning+self-sup
视学算法·2022-12-10 05:05

文献翻译和笔记--Cross-Modal Contrastive Learning for Text-to-Image Generation(用于文本到图像生成的跨模态对比学习)

CVPR2021文献下载：CVPR2021OpenAccessRepository摘要文本到图像合成系统的输出应该是连贯、清晰、逼真的场景，对其条件文本描述具有高度的语义保真度。我们的跨模态对比生成对抗网络(XMC-GAN)通过最大化图像和文本之间的互信息来解决这一挑战。它通过多个对比损失来实现这一点，这些损失捕获了模态间和模态内的对应关系。XMC-GAN使用注意力自调制生成器，它强制执行强文本-
MT_Joy·2022-12-10 04:43

最优传输论文（六十三）：Contrastive Adaptation Network for Unsupervised Domain Adaptation论文原理

文章目录前言摘要1.Introduction2.RelatedWork3.Methodology3.1.最大平均差异回顾3.2.对比域差异3.3.对比适应网络3.4.OptimizingCAN4.Experiments4.1.Setups4.2.Comparisonwiththestate-of-the-art4.3.消融研究5.Conclusion代码前言文章来自2019年的CVPR
CtrlZ1·2022-12-10 04:12

对比式无监督预训练简介（Contrastive Pre-training）

关注并星标从此不迷路计算机视觉研究院公众号ID｜ComputerVisionGzq学习群｜扫码在主页获取加入方式计算机视觉研究院专栏作者：Edison_G自监督学习通过设计适当的自监督任务，从大规模的无标注数据中学习可迁移的知识，从而提高下游任务上的表现。根据任务的类型，我们可以将常见的无监督预训练方法分为生成式预训练和对比式预训练。本文主要介绍常见的对比式预训练任务。对比式预训练Contrast
计算机视觉研究院·2022-12-10 04:21

论文笔记：COOKIE: Contrastive Cross-Modal Knowledge Sharing Pre-training for Vision-Language Representati

面向视觉语言表示的跨模态知识共享预训练摘要介绍预训练整体结构跨模态对比学习单模态对比学习部分介绍结论摘要最近，人们对跨模态预培训的兴趣激增。然而，现有的方法预先训练一个单流模型来学习联合视觉语言表示，这在进行跨模态检索时会受到计算爆炸的影响。在这项工作中，我们提出了对比跨模态知识共享预训练（COOKIE）方法来学习通用文本图像表示。其中有两个关键设计，一个是视觉和文本编码器上的权重共享transf
帅帅梁·2022-12-10 04:03

Self-supervised Learning: Generative or Contrastive

清华大学唐杰老师组：自监督学习最新研究进展提示：近年来，深度监督学习取得了巨大的成功。然而，它依赖于手工标签，并且易受攻击的弱点促使学者们探索更好的解决方案。近年来，自监督学习作为一种新的学习方法，在表征学习方面取得了骄人的成绩并吸引了越来越多的注意。自监督表示学习利用输入数据本身作为监督信号，几乎有利于所有不同类型的下游任务。提示：另外还有两篇最近放出来的自监督学习的综述：【1】Self-sup
浪荡子爱自由·2022-12-09 16:59

对比学习Contrastive Learning

对比学习是一种常用的自监督学习方法。核心思想：把正样本距离拉近，正样本与负样本距离拉远。（类似度量学习中的margin,但是对比学习为正负样本分类，无margin概念）方式：通过一个正样本，以及k个负样本进行对比学习，研究表明K越大越好，可以取几万个。优化问题：对于一个正样本，需要和k个负样本做分类，使模型分清楚哪些是正样本，哪些是负样本，用交叉熵即可。如下图经典方法：memorybank:利用i
yang_daxia·2022-12-09 16:59

【论文阅读】PGCL：Prototypical Graph Contrastive Learning

目录摘要1引言2相关工作3准备工作3.1问题定义3.2GNN3.3图对比学习4PGCL4.1相关视图的聚类一致性4.2重加权对比目标5实验摘要之前的对比方法存在一个抽样偏差问题，即负样本很可能与正样本具有相同的语义结构，从而导致性能下降。为了减轻该抽样偏差，本文提出了一种原型图对比学习(PGCL)方法。具体来说，PGCL通过将语义相似的图聚类到同一组中来对图数据的底层语义结构进行建模，同时鼓励同一
Cziun·2022-12-09 16:55

Contrastive Search Decoding——一种对比搜索解码文本生成算法

目录一、contrastivesearchdecoding二、代码实现理解和实验1、代码走读2、生成效果展示3、方案的缺陷最近在做文本生成相关的任务，调研的时候刷到一篇文本生成的论文：《AContrastiveFrameworkforNeuralTextGeneration》它认为GPT2生成模型再生成的token具有各异向性，使得token之间的相似性非常接近没有很好的区分度，最后解码的时候造成
colourmind·2022-12-09 16:54

Talk预告 | 剑桥大学在读博士生苏熠暄：对比搜索（Contrastive Search）—当前最优的文本生成算法

本期为TechBeat人工智能社区第461期线上Talk！北京时间12月8日(周四)20:00，剑桥大学在读博士生——苏熠暄的Talk将准时在TechBeat人工智能社区开播！他与大家分享的主题是:“对比搜索（ContrastiveSearch）—当前最优的文本生成算法”，届时将分享其在NeurIPS2022上的工作及接下来的一篇后续工作。Talk·信息▼主题：对比搜索（ContrastiveSe
TechBeat人工智能社区·2022-12-09 16:24

Improving Graph Collaborative Filtering with Neighborhood-enriched Contrastive Learning

1.摘要  最近，图协同过滤方法被提出作为一种有效的推荐方法，它可以通过建模用户-项目交互图来捕获用户对项目的偏好。尽管有效，但这些方法在实际场景中存在数据稀疏问题。为了减少数据稀疏性的影响，在图形协同过滤中采用对比学习来提高性能。然而，这些方法通常是通过随机抽样来构建对比对的，忽视了用户（或项目）之间的相邻关系，未能充分挖掘对比学习的潜力来进行推荐。  为了解决上述问题，我们提出了一种新的对比学
回锅肉炒肉·2022-12-09 11:26

【NIPS 2020】Self-paced Contrastive Learning with Hybrid Memory for Domain Adaptive Object Re-ID

方法概述1，提出一种创新的带有混合内存的自我进度（self-paced）对比学习框架。其中，混合内存动态生成源域类级、目标域聚类级和无聚类实体集的监督信号。2，self-paced方法可以生成更加可信的聚类来精炼混合内存和学习目标。文章目录方法概述内容概要工作概述成果概述方法详解方法框架算法描述具体实现实验结果总体评价引用格式参考文献内容概要论文名称简称会议/期刊出版年份baselinebackb
_Summer tree·2022-12-07 21:21

What Should Not Be Contrastive in Contrastive Learning学习笔记

WhatShouldNotBeContrastiveinContrastiveLearning引入了一个对比学习框架，该框架不需要事先特定的，与任务相关的不变性的知识，模型学会捕捉通过构建单独的视觉表示的可变和不变因素嵌入到空间，除了扩充之外，每个空间都是不变的。数据增强的引入是一把双刃剑因为每次数据增强都会增加其中的不变性变多，比如，增加旋转可能会有助于航拍图像识别，但是会大大降低解决其他任务的
Vectery·2022-12-06 17:19

WHAT SHOULD NOT BE CONTRASTIVE IN CONTRASTIVE LEARNING

WHATSHOULDNOTBECONTRASTIVEINCONTRASTIVELEARNING一、背景介绍：现在的自监督对比学习方法，大多通过学习对不同的数据增强保持不变，从而学习到一个好的视觉表征。这里就隐含地假设了一组特定地表示不变性，(比如颜色不变性)，但是如果下游任务不满足这种假设条件时，(比如区分黄色轿车和红色轿车)，这种方法可能就会对任务起到反作用。对于数据增强来说，我们在网络中引入的
Yore_·2022-12-06 17:17

WHAT SHOULD NOT BE CONTRASTIVEIN CONTRASTIVE LEARNING（2022）

**WHATSHOULDNOTBECONTRASTIVEINCONTRASTIVELEARNING（2022）由棵岩翻译支持powerbykeyantranslate棵岩阅读-专为科研打造的阅读和知识发现工具摘要最近的自监督对比方法已经能够通过学习对不同的数据增强的不变性来产生具有暗示性的可转移的视觉表征。然而，这些方法隐含地假设了一组特定的表征不变性，当下游任务违反这一假设时，这些方法可能表现不
Soul-Code·2022-12-06 17:41

机器学习笔记 - 关于Contrastive Loss对比损失

一、对比损失虽然二元交叉熵（下图公式）肯定是损失函数的有效选择，但它不是唯一的选择（甚至不是最佳选择）。然而，实际上有一个更适合孪生网络的损失函数，称为对比损失。其中Y是我们的标签。如果图像对属于同一类，则为1，如果图像对属于不同类，则为0。变量是孪生网络的输出之间的欧几里得距离。max函数取最大值0和边距m减去距离。孪生网络的目标不是对一组图像对进行分类，而是区分它们。从本质上讲，对比损失是评估
坐望云起·2022-12-04 12:50

Towards Robust Visual Question Answering: Making the Most of BiasedSamples via Contrastive Learning

走向鲁棒的视觉问题回答:通过对比学习，最大限度地利用有偏样本提出问题：视觉问答(VQA)模型通常依赖于虚假的相关性，即语言先验。使得其在分布外(OOD)测试数据面前表现不好。最近的方法通过减少偏倚样本对模型训练的影响，在克服这个问题方面取得了一些进展。但是，其在分布外(OOD)测试数据的改进严重牺牲了分布(ID)数据(由偏置样本主导)上的性能。解决方法和创新点：提出了一种新颖的对比学习方法，MMB
pinkshell_1314·2022-12-03 19:56

【对比学习超分辨】Blind Image Super-Resolution via Contrastive Representation Learning

要点1本文动机：现有SR方法都是假定退化是一个已知的分布然后进行的，所以产生了盲超分辨。真实场景下的数据通常具有三个问题：multi-source、spatiallyvariant、unknowndistribution。现有盲超分辨方法通过退化估计来解决真实场景的问题，很好地解决unknowndistribution，不能很好地解决前两个问题。本文的动机就是解决前两个问题。基于上述动机，本文设计
几维wk·2022-12-03 08:17

# [Contrastive Learning] Contrastive Coherence Preserving Loss for Versatile Style Transfer

论文链接：Arxiv期刊/会议：ECCV2022是否有code:Code演示demo关键词对比学习,图像风格转换问题简述Motiviation这是篇卖“问题”的文章。作者指出视频风格转换类方法目前还没有很好的解决"帧间不一致性"(TemporalInconsistency或者FlickerArtifacts)问题，这导致转化后的视频总是特别“闪”，这里可以看一下作者提供的演示Demo，有个直观的感
不稳定程序制造机·2022-12-02 18:14

# [Contrastive Learning] Fast-MoCo

论文链接：Arxiv期刊/会议：ECCV2022是否有code:Code关键词对比学习问题简述Motiviation这是篇卖“问题”的文章。作者发现使用目前的对比学习方法，想要得到理想的效果往往需要很长的训练时间(比方说MoCo需要训练800个epoch)。作者认为，这主要是因为这类“two-image-one-pair”的对比学习范式，对于数据的利用率并不高。简单来说，就是一个sample的经过
不稳定程序制造机·2022-12-02 18:14

[Contrastive Learning] Improving Contrastive Learning by Visualizing Feature Transformation

[ContrastiveLearning]ImprovingContrastiveLearningbyVisualizingFeatureTransformation论文链接：Arxiv期刊/会议：ICCV2021Oral是否有code:Code关键词对比学习可视化方法数据增广问题简述Motiviation这是篇卖“方法”的文章。作者提供了一种可视化工具(称之为scoredistribution)
不稳定程序制造机·2022-12-02 18:44

[深度学习] 多种损失函数 contrastive loss & triplet loss & L-softmax

参考：https://blog.csdn.net/zeroQiaoba/article/details/80086906triplet_loss改进：参考https://blog.csdn.net/weixin_41803874/article/details/116202667损失函数对比损失函数（Contrastivelossfunction）三元组损失（tripletloss）triplet
(∩ᵒ̴̶̷̤⌔ᵒ̴̶̷̤∩)·2022-12-02 17:50

NLP常用损失函数代码实现——SoftMax/Contrastive/Triplet/Similarity

NLP常用损失函数代码实现  NLP常用的损失函数主要包括多类分类（SoftMax+CrossEntropy）、对比学习（ContrastiveLearning）、三元组损失（TripletLoss）和文本相似度（SentenceSimilarity）。其中分类和文本相似度是非常常用的两个损失函数，对比学习和三元组损失则是近两年比较新颖的自监督损失函数。  本文不是对损失函数的理论讲解，只是简单对
华师数据学院·王嘉宁·2022-12-02 17:48

SimCSE: Simple Contrastive Learning of Sentence Embeddings(EMNLP 2021)

SimCSE:SimpleContrastiveLearningofSentenceEmbeddings(EMNLP2021)Motivation无监督的SimCSE将句子过两次预训练模型得到两个不同的embedding作为正例对，将同一batch中的其他句子作为负例，模型从所有例子中预测出唯一的正例。有监督的SimCSE使用NLI数据，将蕴含关系对作为正例，矛盾关系及batch内其他的句子作为负
默默无闻的[UNK]·2022-12-02 14:21

论文解读SimCSE: Simple Contrastive Learning of Sentence Embeddings

简介这是一篇方法很简单效果却十分好的论文，直接将语义相似度sota提升了好几个百分点。背景对比学习Contrastivelearningaimstolearneffectiverepresentationbypullingsemanticallycloseneighborstogetherandpushingapartnon-neighbors(Hadselletal.,2006)对比学习可以拉开
黑夜使者·2022-12-02 14:20

文献阅读：SimCSE：Simple Contrastive Learning of Sentence Embeddings

文献阅读：SimCSE：SimpleContrastiveLearningofSentenceEmbeddings1.文献内容简介2.主要方法介绍3.主要实验介绍1.STSExperiment2.DownsteamExperiment4.讨论1.lossfunction考察2.其他正例构造方式考察3.消解实验5.结论&思考文献链接：https://arxiv.org/abs/2104.08821v
Espresso Macchiato·2022-12-02 14:48
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他