A Survey on Contrastive Self-Supervised Learning

A Survey on Contrastive Self-Supervised Learning
对比自监督学习综述

Author:Ashish Jaiswal,Ashwin Ramesh Babu, Mohammad Zaki Zadeh, Debapriya Banerjee and Fillia Makedon

机构:德克萨斯大学阿灵顿分校计算机科学与工程系,阿灵顿,美国

期刊:technologies,10.31提交,12.23接受,12.28发布;

OA

Project: Citavi-202112 传感器融合

万物皆可contrastive learning

自监督学习之所以受到欢迎,是因为它能够避免标注大规模数据集的成本。它能够采用自定义的伪标签作为监督,并将学习到的表示用于多个下游任务。具体来说,对比学习最近已经成为计算机视觉、自然语言处理(NLP)和其他领域的自我监督学习的主要组成部分。它的目的是将同一样本的增广版本嵌入到彼此接近的位置,同时试图排除来自不同样本的嵌入。这篇论文对遵循对比方法的自我监督方法进行了广泛的回顾。该工作解释了在对比学习设置中常用的借口任务,接着是迄今为止提出的不同架构。对不同的方法进行了性能比较,用于多个下游任务,如图像分类目标检测动作识别。最后,总结了现有方法的局限性,以及需要进一步的技术和未来的方向来取得有意义的进展。

1 Introduction

随着深度学习技术的发展,该领域已成为大多数智能系统的核心组件。深度神经网络能够

你可能感兴趣的:(算法+医学图像处理文献阅读解析,深度学习,机器学习,计算机视觉)