CVPR 2023 精选论文学习:Seeing What You Miss Vision-Language Pre-Training With Semantic Completion Learning

以下是根据 MECE 原则找到的四个可以作为分类标准的特征：

1. 预训练任务。预训练任务是指模型在用于下游任务之前进行训练的特定任务。在视觉语言预训练的背景下，有几种常见的预训练任务：

• 对比学习：在对比学习中，模型被训练来区分相似和不相似的示例对。例如，在视觉语言预训练的情况下，模型可以被训练来区分图像和它们对应的标题，或区分图像和它们对应的描述。
• 掩码语言建模 (MLM)：在 MLM 中，模型被训练来预测句子中缺失的单词。例如，模型可以被给出一个句子，其中一些单词被遮蔽掉，它将被要求预测缺失的单词。
• 掩码视觉令牌建模 (MVT)