Momentum Contrast for Unsupervised Visual Representation Learning 论文学习
1.解决了什么问题?非监督学习在自然语言处理非常成功,如GPT和BERT。但在计算机视觉任务上,监督预训练方法要领先于非监督的方法。这种差异可能是因为各自的信号空间不同,语言任务有着离散的信号空间(单词、短语等)来构建非监督学习所需的字典。而计算机视觉则很难构建一个字典,因为原始信号位于连续的高维空间,不像单词一样是结构化的。最近的非监督表征学习方法使用对比损失取得了不错的效果,它们基本是构建了一