【论文笔记】Align before Fuse: Vision and LanguageRepresentation Learning with Momentum Distillation

0. 前言 

【参考】多模态论文串讲

【论文笔记】Align before Fuse: Vision and LanguageRepresentation Learning with Momentum Distillation_第1张图片

基于2021年之前的研究,有几个大趋势:

(1)模型的视觉能力应该强于文本提取能力

(2)模型融合应该有更加复杂的设计,而不只是简单的点积运算(clip)

(3)损失函数的选择上:① ITC ②MLM ③ITM

之所以放弃WPA损失函数,是因为他给训练带来了比较大的成本。(参考ViLT)

1.介绍

1.1 挑战

(1)图像特征和单词标记嵌入存在于它们自己的空间中,难以建模两者之间关系

(2) 对象检测器标注和计算成本过高

(3)ALT数据集噪声影响训练(网络爬取的数据集大部分都是以关键词为主,不能很好的描述)

1.2 本文核心贡献

  • 提出了ALign BEfore Fuse(ALBEF)
  • 提出了动量蒸馏(MoD)

2. ALBEF

2.1 模型架构

【论文笔记】Align before Fuse: Vision and LanguageRepresentation Learning with Momentum Distillation_第2张图片

  • 视觉编码器:使用12层VIT-base
  • 文本编码器:BERTbase[40]模型的前6层
  • 多模式编码器:BERTbase的最后6层

【论文笔记】Align before Fuse: Vision and LanguageRepresentation Learning with Momentum Distillation_第3张图片图片来自VILT

2.2 预训练的三个损失函数

在单模态编码器上的图像-文本对比学习(ITC)、在多模态编码器上的掩蔽语言建模(MLM)和图像-文本匹配(ITM)。

2.2.1 图像-文本对比学习(ITC)

常规的Softmax:

【论文笔记】Align before Fuse: Vision and LanguageRepresentation Learning with Momentum Distillation_第4张图片

这篇论文中的Softmax:

 论文中引入了可学习的温度参数T

通过one-hot分布的图像文本相似性和softmax相似性获得交叉熵衡量

2.2.2 掩蔽语言建模(MLM)

经典bert训练方式。因为以15%的概率随机屏蔽输入tokens,所以这里需要第二次前向传递

2.2.3 图像-文本匹配(ITM)

提出了一种策略,以零计算开销采样ITM任务的hard negtivate数据进行训练:使用图像-文本对比学习中获得的Softmax相似性采样一个与图像(或文本)有较高相似性的文本(或图像)。

2.3 Momentum Distillation 动量蒸馏

这个想法的提出基于 网络爬取的图片文本对中文本不一定能充分描述图片。

动量模型:单一模态和多模态编码器的指数移动平均(EMA)组成

【论文笔记】Align before Fuse: Vision and LanguageRepresentation Learning with Momentum Distillation_第5张图片

三.代码

代码部分参考【读论文看代码】多模态系列-ALBEF。足够详细就不重复造轮子了

你可能感兴趣的:(论文阅读)