论文笔记：Meshed-Memory_Transformer_for_Image_Captioning_CVPR2020

背景：

transformer-based architectures 没有充分利用到多模型图像字幕。

创新点：

我们提出了一个新型fully-attention图像字幕算法，对于image caption我们提出了一个带有内存的 网格transformer。这个结构优化了图像编码器和语言生成步骤，它学习集成先验知识的图像区域之 间关系的多级表示，并在解码阶段使用网格状连接来利用低和高级特征。

结论：

我们的模型包含了一种区域编码方法，它通过内存向量和利用先验知识编码和解码模块之间的网状 连接。 值得注意的是，对于其他fully-attention的架构来说，这种连接模式是前所未有的。

Transformer : 由encoder 和decoder组成，是第一个用纯attention搭建的模型。

Attention机制原理

memory augmented encoder
给定从输入图像中提取的一组图像区域X，attention可以通过transformer中使用的自注意操作来获得X的排列不变编码。在这种情况下，query、key和value是通过线性投影输入特征来获得的。
meshed decoder
解码器以之前生成的单词和区域编码为条件，生成输出字幕的下一个标记，为了构建多层结构，我们设计了一个meshed attention operator，它能够利用到句子生成中的所有编码层。