CVPR2021-RSTNet-Captioning with Adaptive Attention on Visual and Non-Visual Words

论文地址: CVPR2021-RSTNet-Captioning with Adaptive Attention on Visual and Non-Visual Words

背景介绍

在image captioning领域最常使用的是 encoder-decoder 框架。最开始研究者都是使用CNN进行视觉特征的提取，然后在使用RNN进行句子的生成。近几年，基于区域的 (region-based) 的视觉特征提取占了主流地位。它是先使用比如Faster-RCNN 进行有效目标区域的框选，再使用这些框选的特征进行文字的生成。但是这一方法存在的问题是区域提取过程非常耗时，目前大多数具有区域特征的模型都是直接对缓存的视觉特征进行训练和评估的。

本文又重新探索了基于grid的特征提取。但是基于grid的特征，在作为Transformer的输入时，会被打平维度，因此会丢失空间信息。同时，大部分的image captioning的模型都是全程基于视觉特征和生成文字的关系来进行文本的生成，然而在一些句子中其实会存在一些与视觉无关的文字信息，比如with, and等。因此，所有文字都使用基于图片和文字的关系来生成是有弊端的。因此本文将生成的文字分为两种：
1. Visual word;
2. Non-visual word.

上述的两个当前image captioning模型存在的问题由下图展示。

主要改进

本文的主要改进点有两个：

1. 提出了Grid-Augmented module, 将相对位置之间的空间几何关系合并到网格中，以便于更全面地使用grid feature。
2. 提出了Adaptive Attention module, 它是基于语言上下文和视觉特征来衡量视觉特征和语言上下文对文本生成的贡献。

对于encoder部分的每个注意模块，结合网格特征的相对几何信息，计算出更准确的注意分布。对于decoder部分，视觉和语言线索之间需要权衡，而不是直接预测单词。

模型的整体结构如下：

视觉特征由我们的grid feature表示，文本特征由预训练的基于bert的语言模型提取，我们的Adaptive Attention module 衡量视觉特征和语言上下文对单词预测的贡献。

Grid-Augmented module

首先计算每个grid的位置: $\{(x_i^{min},y_i^{min}),(x_i^{max},y_i^{max})\}$,它们分别表示每个grid的左上和右下的坐标。然后计算出每个各自的中心点坐标和宽高，公式如下。

$$\begin{array}{rl}\left(c{x}_i,c{x}_i\right)& =\left(\frac{x_i^{\min }+x_i^{\max }}{2},\frac{y_i^{\min }+y_i^{\max }}{2}\right)\\ w_i& =\left(x_i^{\max }-x_i^{\min }\right)+1,\\ h_i& =\left(y_i^{\max }-y_i^{\min }\right)+1\end{array}$$

接着我们需要计算整个feature map中每个grid和其他grid之间的位置关系 ${\lambda }_g\in R^{N\times N}$.

$$\begin{array}{c}{r}_{ij}=\left(\begin{array}{c}\log \left(\frac{|c{x}_i-c{x}_j|}{w_i}\right)\\ \log \left(\frac{|c{y}_i-c{y}_j|}{h_i}\right)\\ \log \left(\frac{w_i}{w_j}\right)\\ \log \left(\frac{h_i}{h_j}\right)\end{array}\right),\\ G_{ij}=FC\left(r_{ij}\right),\\ {\lambda }_{ij}^g=\mathrm{ReLU}\left(w_g^T{G}_{ij}\right),\end{array}$$

一般的Transformer encoder中 Scaled Dot-Product Attention的公式如下:
$$\begin{array}{c}Q=U{W}_q,K=U{W}_k,V=U{W}_v\\ Z=\mathrm{softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V\end{array}$$
其中的$W_q$,$W_k$,$W_v$ 是可学习的权重参数。

本文提出的Grid-Augmented module，对于encoder中的Scaled Dot-Product Attention进行了基于grid相对位置的增强，改进后的公式如下：

$$\begin{array}{c}Q=U{W}_q,K=U{W}_k,V=U{W}_v\\ Z=\mathrm{softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}+{\lambda }^g\right)V\end{array}$$
这样就在计算grid feature之间的attention关系时，加入了grid之间的位置关系，避免了一定的位置信息的丢失。

Adaptive Attention module

Language Feature Representation

本文使用了预训练的Bert-based模型进行文本特征的提取。由于在模型推理时，模型应该只能看到当前生成文字之前的文本，因此加入了masked类似于Transformer decoder。整体的文本特征提取如下图所示：

其中图中的 $S$ 表示文本特征。

假设文本需要生成的句子为 $\hat{W}=\left({\hat{w}}_1,{\hat{w}}_2,\dots ,{\hat{w}}_M,<\cos >\right)$ 那么，传统的decoder部分仅仅使用视觉特征和之前生成的文字来生成接下来的文字:
$$h_t=Decoder(U,W_{<t})$$
但是本文加入了文本特征，通过衡量视觉特征和文本特征对于接下来生成文字的重要程度来生成文字。整体的流程如下图：

图中最右侧粉红色的输出为一般Transformer decoder生成的文字特征，我们需要将每一次生成的文字特征拿出来再通过衡量文字特征和视觉特征的重要性来决定这个字是更加基于哪一种特征生成。每次生成完当前的文本后，都需要对当前的文本进行bert-based模型的文本特征提取，即图中蓝色部分。将当前生成step的文本特征和视觉特征结合起来，再于传统decoder生成的预测的文字特征进行attention运算，即图中绿色部分，从而衡量当前生成的文字更注重visual word 还是 non-visual word. 这个过程可以用一下公式表达：

$$\begin{array}{c}{q}_{i,t}=h_t{W}_i^Q,k_{i,t}=\left[U;s_t\right]W_i^K,v_{i,t}=\left[U;s_t\right]W_i^V\\ {\text{ head }}_{i,t}=\mathrm{softmax}\left(q_{i,t}{k}_{i,t}^T\right)v_{i,t}\\ h_{ead}=\text{ Concate }\left(h_{i}ea{d}_{i,1},\dots ,{\text{ head }}_{i,M}\right)\\ \text{ att }=\text{ Concate }\left({\text{ head }}_1,\dots ,{\text{ head }}_h\right)W^O\end{array}$$
其中att则为最终的预测文本特征。

结合此图和上文中整体模型图，不难理解这篇文章的主要工作内容。核心就是：

1. 在视觉特征提取时加入了每个grid与其他grid的相对位置关系;
2. 在传统decoder生成的prediction representation的基础上有增加了一步特征的提取融合，通过将视觉特征和基于当前已经生成的文本所预测的下一个文字的文本特征结合起来，然后再衡量两种特征对于下一步预测的重要程度来决定下一步的预测。

结果

文中展示了，模型预测时visual word 和 non-visual word 对应图片的区别，如下图所示：

本文提出的模型与其他模型的对比如下，可以看出本文提出的模型有一定的提升，但是提升的幅度还是有限的。