Contrastive 第7页

相似度_对抗学习：SimCSE: Simple Contrastive Learning of Sentence Embeddings

SimCSE:SimpleContrastiveLearningofSentenceEmbeddings这篇论文，我觉得有意思。在创造对抗学习的正负例时，正例直接使用它本身。将同一个句子传递给预先训练好的编码器两次：通过应用两次dropout，我们可以得到两个不同的嵌入作为“正实例”。然后，我们把同一小批中的其他句子作为“负实例”。我们首先描述了一种无监督的方法，它采用输入句子并在对比性目标中预测

等景，不如找景·2022-12-02 14:47

[论文翻译]CrossPoint: Self-Supervised Cross-Modal Contrastive Learning for 3D Point Cloud Understanding

原文地址：CrossPoint:Self-SupervisedCross-ModalContrastiveLearningfor3DPointCloudUnderstandingAbstract点云结构不规则，对于不同任务(如三维目标分类、分割和检测)的大型点云数据，人工标注往往是非常困难的。自我监督不需要任何手工标注，是解决这个问题的好方法。受人眼能够从2D图像理解3D世界的启发，我们提出Cro

m0_70686290·2022-12-01 20:24

Exploring Data-Efficient 3D Scene Unserstanding with Contrastive Scene Contexts 论文阅读 CVPR21

这是一篇CVPR21Oral的文章，本篇文章旨在构建一个单模态的自监督预训练方法，使得3D模型在无标签的前提下进行预训练获得3D知识。贡献1、上一个工作Pointcontrast仅仅是做了简单的点到点匹配，没有考虑空间局部信息和上下文语义信息。本篇文章基于Pointcontrast提出考虑点云空间上下文信息的解决方案。2、在得到预训练模型后，将预训练模型迁移到下游分割任务时，提出一种主动标记的方法

Mikecsdn17·2022-12-01 20:54

Graph Contrastive Clustering：图对比聚类

论文题目：GraphContrastiveClusteringSummary传统的无监督表征学习没有考虑到聚类的类别信息和聚类目标之间的联系，因此学习得到的表征往往是不充足的和性能受限的。且传统的对比学习方式都是仅仅将原始数据和数据增强之间看做正对，本文考虑其实属于同一个簇里面的样本都可以看作是正对，因此最终演化为最大化簇间距离，最小化簇内距离。论文将图像进行编码，得到每个图像的特征向量，利用KN

Liao-Zhuolin·2022-12-01 20:16

基于对比学习的压缩单图像去雾(Contrastive Learning for Compact Single Image Dehazing-cvpr2021)

概述在本文中，提出了一种新的基于对比学习的对比正则化(CR)方法，将模糊图像和清晰图像的信息分别作为负样本和正样本来利用。CR保证了恢复后的图像在表示空间中向清晰图像拉近，向远离模糊图像的方向推远。此外，考虑到性能和内存存储的权衡，本文开发了一个紧凑的基于类自动编码器(AE)框架的去雾网络。该算法采用自适应混合操作和动态特征增强模块，分别通过自适应保持信息流和扩展接收域来提高网络的转换能力。主要贡

啦啦啦啦啦啦.·2022-12-01 00:14

Supervised Contrastive Learning：有监督对比学习

1概要交叉熵损失是监督学习中应用最广泛的损失函数，度量两个分布（标签分布和经验回归分布）之间的KL散度，但是也存在对于有噪声的标签缺乏鲁棒性、可能存在差裕度（允许有余地的余度）导致泛化性能下降的问题。而大多数替代方案还不能很好地用于像ImageNet这样的大规模数据集。许多对正则交叉熵的改进实际上是通过对loss定义的放宽进行的，特别是参考分布是轴对称的。这写改进通常具有不同的动机：比如标签平滑（

巍巍微澜·2022-11-30 18:32

对比损失（Contrastive Loss）学习【转载】

转自：https://blog.csdn.net/autocyz/article/details/53149760https://www.tensorflow.org/tutorials/representation/word2vec?hl=zh-cn1.公式//链接的博客里讲的很不错，当两个样本标签相同，即相似y=1，则欧式距离越大损失函数越大，反之，欧式距离越小，损失函数越小；当两样本不相似时

weixin_30455365·2022-11-30 18:01

CLIP对比图文预训练（Contrastive Language-Image Pretraining）论文阅读笔记

任务：videocaptioning，视频描述生成，简单来说就是给定一段视频（目前以几秒到几分钟的短视频为主），计算机输出描述这段视频的文字（目前以英文为主）。往往一个视频对应多个人工标注，这也是为训练时增添了一些鲁棒性，如：。网络模型：网络分成两部分：1）文本特征提取：文本编码器可以是transformer;2)图像特征提取：可以是resnet50等；训练阶段：训练数据是网络社交媒体上搜集的图像

UncleDrew_lsy·2022-11-29 17:17

UNIMO：Towards Unified-Modal Understanding and Generation via Cross-Modal Contrastive Learning

**本文内容仅代表个人理解，如有错误，欢迎指正**1.Points1)UNIMO是一个预训练模型，其输入可以有不同的形式(eg,Imagecollections,Textcorpus,Image-TextPairs)，并且可以微调后用于单模态(Single-modal)任务与多模态(Multi-modal)任务。即不仅在预训练时利用了image-textpair的数据，还充分利用了大量单模态的数据

BachelorSC·2022-11-29 12:51

UNIMO: Towards Unified-Modal Understanding and Generation via Cross-Modal Contrastive Learning

UNIMO:TowardsUnified-ModalUnderstandingandGenerationviaCross-ModalContrastiveLearning（通过跨模态对比学习实现统一模态的理解和生成）1.现有方法的不足：目前的方法要么只能专注于单模态的任务，要么只能专注于多模态任务，而不能将这二者有机地统一在一起互相补充2.创新点：提出UNIMO这一统一模态的预训练架构，可以有效地

Jason Avicii·2022-11-29 12:50

2021最新对比学习（Contrastive Learning）在各大顶会上的经典必读论文解读

所列举的论文涉及领域包括但不限于CV,NLP,Audio,Video,Multimodal,Graph,Languagemodel等，GitHub地址：https://github.com/coder-duibai/Contrastive-Learning-Pa

机智的叉烧·2022-11-29 09:46

自监督学习中的 Contrastive Learning 对比学习（持续更新）

学渣渣渣渣渣·2022-11-28 22:51

论文笔记 ACL2021|CLEVE-Contrastive Pre-training for Event Extraction

文章目录1简介1.1动机1.2创新2背景知识3方法3.1预处理3.2事件语义预训练3.2.1文本编码器3.2.2触发词-论元对辨别3.3事件结构预训练3.3.1图编码器3.3.2AMR子图辨别4实验4.1预训练设置4.2CLEVE的改写4.3监督事件抽取4.4无监督自由的事件抽取5总结1简介论文题目：CLEVE-ContrastivePre-trainingforEventExtraction论文

hlee-top·2022-11-27 00:19

对比学习系列论文CPCforHAR(一)：Contrastive Predictive Coding for Human Activity Recognition

0.Abusurt0.1逐句翻译Featureextractioniscrucialforhumanactivityrecognition(HAR)usingbody-wornmovementsensors.特征提取是利用佩戴式运动传感器进行人体活动识别的关键。Recently,learnedrepresentationshavebeenusedsuccessfully,offeringpromi

BuptBf·2022-11-26 07:51

经典论文学习笔记——13篇对比学习（Contrastive Learning）

emsp; 跟着李沐老师的对比学习课程看了一遍，又照着知乎/CSDN等各位大佬的总结，重新理解了一遍，下面根据自己的学习来总结一下。着重讲一下MoCo，及附带其他12种对比学习的论文的改进之处。以下是一些可以参考的博客：对比学习串烧（李沐大神视频学习笔记） CVPR2020-MoCo-无监督对比学习论文解读无监督对比学习之MOCO 如何评价Deepmind自监督新作BYOL自监督学

gailj·2022-11-25 15:08

Hyperspectral Imagery Classification Based on Contrastive Learning

对比学习四.Thealgorithmusesatwo-stagetrainingstrategy.thefirststrategy:pretrainedthesecondstrategy:classificationI.INTRODUCTION(已有方法写综述+优缺，提出方法写优缺)四种解决小样本的方法：semisupervisedlearning(SSL),unsupervisedlearnin

Eric Leee·2022-11-25 08:08

SC-EADNet: A Self-Supervised Contrastive Efficient Asymmetric Dilated Network for Hyperspectral Imag

自娱自乐读对比学习高光谱图像分类的论文5现有的无监督或者半监督卷积网络的问题；用于特征学习的像素级多尺度上下文信息利用不足昂贵的计算成本I.INTRODUCTION能用总结性的发言，如Thesemethodstypicallycontaintwosteps:1)designing…2)designing…不管是不是自己的总结，这样写总体感觉还是不错的。现在的半监督和无监督分类的主要问题：只依赖像素

Eric Leee·2022-11-25 08:08

CLIP(Contrastive Language-Image Pretraining)主体网络代码详解

CLIP是OpenAI于2021年发表的工作，其采用无监督学习中的对比学习的训练方法，使用了规模巨大的数据集（4亿个图片文本对）来进行训练，其在多个数据集上均得到了让人欣喜的结果，有效地证实了NLP与CV结合所具备的巨大的潜力，并基于此产生了许多有趣的工作。在这里分享一下我对于CLIP主体网络代码的理解，可能会存在诸多纰漏，请大家多多指教。paper：http://proceedings.mlr.

春野运·2022-11-25 03:44

CIL: Contrastive Instance Learning Framework for Distantly Supervised Relation Extraction

CIL:ContrastiveInstanceLearningFrameworkforDistantlySupervisedRelationExtraction领域：远程监督MIL：multiinstancelearning（多实例学习）核心：认为之前在远程监督处理上，采用注意力机制等方法，会使得包内的信息损失，另外，无论一个bag包含多少个实例，在MIL中只能使用形成的bag-level表示进行

等景，不如找景·2022-11-25 01:59

论文笔记《A Simple Framework for Contrastive Learning of Visual Representations》（SimCLR）

论文笔记《ASimpleFrameworkforContrastiveLearningofVisualRepresentations》（SimCLR）对比学习：代理任务+目标函数。有监督和无监督的区别：有监督学习：模型输出的和真实label（groundtruth）通过目标函数计算损失，以此进行模型训练无监督学习或自监督学习：没有groundtruth，用代理任务来定义对比学习的正负样本，再定义合

zx最帅·2022-11-25 00:40

论文阅读——SimCLR：A Simple Framework for Contrastive Learning of Visual Representations

SimCLR论文总结：构建负样例的方式在对比学习中很重要。主要探究了图像变换、batchsize对于学习到的表示的影响。构造负样本的方法是通过两次数据增强，产生2N-2个负样本具体流程：假设每个batch中有两张图片（dog和chair），以dog为例对一张dog进行随机增强，产生两张图像这两张增强之后的图像送到网络f中，在这里产生一个特征向量hh经过MLP（一个全连接网络）也就是投影操作g，产生

coding小白·2022-11-25 00:40

深度学习(自监督:SimCLR)——A Simple Framework for Contrastive Learning of Visual Representations

文章目录前言SimCLR简述实验数据增强对性能的影响Unsupervisedcontrastivelearningbenefits(more)frombiggermodelsAnonlinearprojectionheadimprovestherepresentationqualityofthelayerbeforeitContrastivelearningbenefits(more)fromla

菜到怀疑人生·2022-11-25 00:39

SimCLR：A Simple Framework for Contrastive Learning of Visual Representations 论文笔记

SimCLR：ASimpleFrameworkforContrastiveLearningofVisualRepresentations论文笔记 1ABSTRACTSimCLR：用于视觉表征的对比学习框架，简化了最近提出的对比自我监督学习算法，无需专门的架构或存储库。理论贡献：组合数据増广在定义有效的预测任务中有重要作用在视觉表征和对比损失之间引入可学习的非线性转换，可以改善所学习表征的质量与监督

New WR·2022-11-25 00:38

A Simple Framework for Contrastive Learning of Visual Representations[论文学习] SimCLR

Wesimplifyrecentlyproposedcontrastiveself-supervisedlearningalgorithmswithoutrequiringspecializedarchitecturesoramemorybank.compositionofdataaugmentationsplaysacriticalroleindefiningeffectivepredictiv

smile_point·2022-11-25 00:38

Dual Contrastive Prediction for Incomplete Multi-view Representation Learning个人学习2

目的：解决不完全多视图表示学习中的两个问题1）如何学习统一不同视图的一致表示（Autoencoder网络实现）2）如何恢复丢失的视图（Prediction网络实现）具体做法：两种网络，四个损失函数网络：①Autoencoder：编码：将RGB和Depth图片转到相同维度(同一子空间)；解码：再还原到原来样子②Prediction：编码+解码=forward：将autoencoder中间维度的信息，

double_yellow·2022-11-24 18:49

Bi-CLKT: Bi-Graph Contrastive Learning based Knowledge Tracing

林若漫空·2022-11-24 07:57

MICCAI 2022 | 基于对比学习和视觉Transformer的弱监督视频肠息肉检测

Contrastive

Amusi（CVer）·2022-11-24 01:02

对比学习综述：Contrastive Representation Learning: A Framework and Review（2020）论文地址附文末↓

一、对比表示学习的概念及示例1、表示学习representationlearning指学习从原始输入数据域到特征向量或张量的参数映射的过程，希望捕获和提取更抽象和有用的概念，从而提高一系列下游任务的性能→学习到在新数据样本上进行有意义的推广的映射可根据模型建模方式or训练标签形式进行分类：1、建模方式：①生成式模型：通过建模数据分布p(x)来学习表示（如p(y|x)）②判别式模型：通过直接建模条件

ling零零零·2022-11-23 18:05

GCC(Graph Contrastive Clustering)论文代码复现

GraphContrastiveClustering论文代码复现前言一、GraphContrastiveClustering二、代码复现1.注意事项2.utils/mypath.py3.utils/collate.py4.data/datasets_imagenet_dogs.py5.data/datasets_imagenet10.py总结参考文献前言未来的学习方向主要会围绕深度聚类，而近年来对

Regan_zhx·2022-11-23 17:25

Partial and Asymmetric Contrastive Learning for Out-of-Distribution Detection in Long-Tailed Recogni

Note：还没写完PartialandAsymmetricContrastiveLearningforOut-of-DistributionDetectioninLong-TailedRecognitionCode::https://github.com/amazon-research/摘要现有的分布外(OOD)检测方法通常在具有平衡类分布的训练集上进行基准测试。然而，在实际应用中，训练集通常具有

yijun009·2022-11-23 11:45

理解对比表示学习(Contrastive Learning)

目录一、前言二、对比学习三、主要论文（附代码分析）1.AMDIM([Bachman](https://arxiv.org/pdf/1906.00910.pdf)*etal.*2019)2.SIMCLR([GeoffreyHinton](https://arxiv.org/pdf/2002.05709.pdf)*etal*2020)3.MOCO([KaimingHe](https://ieeexpl

xxxxxxxxxx13·2022-11-23 08:41

#Reading Paper# 【图对比学习难样本挖掘】ICML‘22 ProGCL: Rethinking Hard Negative Mining in Graph Contrastive L

#论文题目：【图对比学习难样本挖掘】ProGCL:RethinkingHardNegativeMininginGraphContrastiveLearning（ProGCL:重新思考图对比学习中的难样本挖掘）#论文地址：https://proceedings.mlr.press/v162/xia22b/xia22b.pdf#论文源码开源地址：https://github.com/junxia97/

堇禤·2022-11-23 03:59

ECCV2022 论文 Contrastive Deep Supervision

论文链接：https://arxiv.org/pdf/2207.05306.pdf代码链接：GitHub-ArchipLab-LinfengZhang/contrastive-deep-supervision

Cassiel_cx·2022-11-22 19:45

论文解读（MERIT）《Multi-Scale Contrastive Siamese Networks for Self-Supervised Graph Representation Learni

优质资源分享学习路线指引（点击解锁）知识定位人群定位Python实战微信订餐小程序进阶级本课程是pythonflask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。Python量化交易实战入门级手把手带你打造一个易扩展、更安全、效率更高的量化交易系统论文信息论文标题：Multi-ScaleContrastiveSiameseNetworksforSelf-Supervi

xuhss_com·2022-11-22 17:25

论文阅读《Multi-Scale Contrastive Siamese Networks for Self-Supervised Graph Representation Learning》

目录论文信息一、Abstract二、Introduction三、Notations四、framework（MERIT）（一）GraphAugment1.GraphDiffusion(GD)2.EdgeModification(EM)3.Subsampling(SS)4.NodeFeatureMasking(NFM)（二）Cross-NetworkContrastiveLearning（三）Cros

菠萝咕噜肉~·2022-11-22 17:22

Contrastive Embedding for Generalized Zero-Shot Learning：广义零样本学习的对比嵌入

CVPR2021paper目录1.摘要2.思想3.创新与贡献4.问题的引出与模型图5.框架5.1混合GZSL框架5.2实例级对比嵌入5.3类级别对比嵌入6.实验6.1GZSL6.2ZSL6.3组成分析6.4可视化7.总结1.摘要广义零样本学习（GZSL）的目标是当只提供可见类的已标记示例来识别可见类和不可见类的对象。生成模型可以合成不可见的类中缺失的视觉特征，以减轻GZSL中的数据不平衡问题。然而

all-izz-well·2022-11-22 13:04

HCSC: Hierarchical Contrastive Selective Coding 解读

HCSC:HierarchicalContrastiveSelectiveCoding在图像数据集中，往往存在分层级的语义结构，例如狗这一层级的图像中又可以划分为贵宾、金毛等细粒度的类别。例如这张图，展示了一个数据集中的多种语音层级。在学习图像表征时，如果能把图像语义的层级关系学习进去，能够极大地提升图像表征在下游任务上的表现。先前提出的对比学习方法在建模时都忽略了这部分，本文提出了一种新的对比学

开心的火龙果·2022-11-22 12:13

HCSC: Hierarchical Contrastive Selective Coding

原型对比学习：图像表征与聚类中心之间的交互，可以简单总结为在表征空间中最大化图像特征与其所属的聚类中心的相似度。分层语义结构自然存在于图像数据集中，其中几个语义相关的图像簇可以进一步集成到一个更大的簇中，具有更粗粒度的语义。用图像表示捕获这样的结构可以极大地促进对各种下游任务的语义理解。现有的对比表示学习方法缺乏如此重要的模型能力。此外，这些方法中使用的负样本对不能保证在语义上是不同的，这可能会进

YoooooL_·2022-11-22 11:01

【NLP】对比学习——文本匹配（一）

对比学习(Contrastive Learning)\small(Contrastive\;Learning)(ContrastiveLearning)则是属于表示学

馨歌·2022-11-22 03:55

2022_WWW_Improving Graph Collaborative Filtering with Neighborhood-enriched Contrastive Learning

[论文阅读笔记]2022_WWW_ImprovingGraphCollaborativeFilteringwithNeighborhood-enrichedContrastiveLearning论文下载地址：https://doi.org/10.1145/3485447.3512104发表期刊：WWWPublishtime:2022作者及单位:ZihanLin1†,ChangxinTian1†,Y

XingHe_XingHe_·2022-11-22 01:50

对比学习（Contrastive Learning）综述

作者丨光某人@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/346686467编辑丨极市平台A.引入深度学习的成功往往依赖于海量数据的支持，其中对于数据的标记与否，可以分为监督学习和无监督学习。1.监督学习：技术相对成熟，但是对海量的数据进行标记需要花费大量的时间和资源。2.无监督学习：自主发现数据中潜在的结构，节省时间以及硬件资源。2.1主要思路：自主地从大量数据

Tom Hardy·2022-11-21 22:39

【论文阅读-对比学习】ConSERT- A Contrastive Framework for Self-Supervised Sentence Representation Transfer

今天继续来看对比学习的一篇论文，比SimCSE稍晚几个月发的，主要关注在embeddings层的不同的数据增强方式。该阅读笔记首发于：https://zhuanlan.zhihu.com/p/481581904Title:ConSERT:AContrastiveFrameworkforSelf-SupervisedSentenceRepresentationTransferFrom:ACL2021

_春天_·2022-11-21 09:34

【论文解读|KDD2021】HeCo - Self-supervised Heterogeneous Graph Neural Network with Co-contrastive Learning

对比学习基于对比学习的自监督异构图神经网络文章目录摘要1引言2相关工作4HeCo模型4.1节点特征转化4.2网络模式视图编码器4.3元路径视图4.4视图掩码机制4.5协同对比优化5实验6结论摘要异构图神经网络(HGNNs)作为一种新兴技术，在处理异构信息网络(HIN)方面表现出了卓越的能力。然而，大多数HGNN遵循半监督学习方式，这明显限制了它们在现实中的广泛使用，因为在实际应用中标签通常很少。近

林若漫空·2022-11-20 16:27

对比学习（Contrastive Learning）的理解

参考网址：https://blog.csdn.net/yyhaohaoxuexi/article/details/113824125一、InfoNoise-contrastiveestimation(InfoNCE)1.1描述 InfoNCE在MoCo中被描述为：1.2实现 MoCo源码的\moco\builder.py中，实现如下：#computelogits#Einsteinsumismo

math_learning·2022-11-20 11:56

GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training 论文阅读

GCC:GraphContrastiveCodingforGraphNeuralNetworkPre-Training论文阅读1.论文部分1.1预训练1.1.1采样1.1.2encode1.1.3loss1.2微调2.作者代码部分1.论文部分论文原文在图结构数据上预训练+微调1.1预训练预训练任务原理：预训练任务要求模型要有可迁移性，作者是通过仅根据顶点的局部结构来区分它们，不考虑节点的特征及标签

kc7w91·2022-11-20 11:06

Self-supervised Heterogeneous Graph Neural Network with Co-contrastive Learning 论文阅读

Self-supervisedHeterogeneousGraphNeuralNetworkwithCo-contrastiveLearning论文阅读一、重难点二、两种视角三、模型定义1.预处理2.networkschema3.meta-path4.mask5.contrastivelearning6.modelextension论文原文一、重难点异质图：异质图基本思想速通双视角：network

kc7w91·2022-11-20 11:36

图文 Contrastive Learning (CLIP) VS Pre-training tasks (ViLT)

ContrastiveLearning(CLIP)VSPre-trainingtasks(ViLT)结果展示图+文找相同，第一列到第四列从左到右依次为：CLIP图分支，CLIP图+文，CNN(Resnet50),最后一列为文本；（记录）因为看到下面这两篇文章，所以重新回顾了一些经典的文章，拿来做分析；俗话说因果循环，辩证思考；在ContrastiveLearning基础上展开的研究(个人观点)Ho

Mira-Tableau·2022-11-20 05:36

Understanding the Behaviour of Contrastive Loss 阅读笔记

Motivation对比学习旨在学习一个通用的特征函数，将原始像素映射为超球空间上的特征。一般通过使positivepairs和negativepairs分离来学习同一实例的不同角度的不变特征。对比学习方法有一个共同的损失函数设计，这个softmax函数通过特征相似度的惩罚τ\tauτ来区分正负样本。τ\tauτ控制困难负样本的惩罚力度。无监督对比学习中嵌入分布的均匀性对于学习可分离的特征非常重要

1100dp·2022-11-19 22:55

PCL: Proxy-based Contrastive Learning for Domain Generalization 阅读笔记

Motivation对比学习：利用不同领域的样本对之间丰富的语义关系来学习domain-invariantrepresents。简而言之，构建多个正负样本对，然后用它们来学习优化一个距离度量，将来自不同正样本对之间的距离拉近，而将其他负样本对推远。基于代理的方法：代理被看作是一个子数据集的代表，一个标准的基于代理的方法是softmaxcrossentropyloss，其中代理用来表示类。domai

1100dp·2022-11-19 22:25

2022年计算机视觉与语言研究热点

对比学习ContrastiveLearning=MetricsLearning+selfsupervisedLearning参考文献：[1]https://analyticsindiamag.com/contrastive-learning-self-supervised-ml

Alchemist Notes·2022-11-18 14:05

推荐频道

Contrastive