【arxiv】data2vec: A General Framework for Self-supervised Learning in Speech, Vision and Language

论文 & 代码
Meta AI 首个多模态自监督算法

摘要

虽然自监督学习的一般思想在模态之间是相同的，但实际的算法和目标差异很大，因为它们是在考虑到单一模态的情况下开发的。
data2vec核心思想是在使用标准Transformer体系结构的自蒸馏设置中，基于输入的mask视图预测完整输入数据的潜在表示。data2vec 不是预测本质上是局部的人类语音的单词、视觉标记或单元等特定于模态的目标，而是预测包含来自整个输入的信息的上下文潜在表示。在语音识别、图像分类和自然语言理解的主要基准上的实验表明，与主要方法相比，一种新的最先进或具有竞争力的性能。

data2vec 训练方式是通过在给定输入的部分视图的情况下预测完整输入模型表示（如下图所示）：首先 data2vec 对训练样本的掩码版本（学生模型）进行编码，然后通过使用相同模型参数化为模型权重的指数移动平均值（教师模型）对输入样本的未掩码版本进行编码来构建训练目标表示。目标表示对训练样本中的所有信息进行编码，学习任务是让学生在给定输入部分视图的情况下预测这些表示。