论文笔记：Dual-Level Collaborative Transformer for Image Captioning

现有的基于图像区域特征的图像字幕方法的不足是：缺乏上下文信息和细粒度细节，而这恰恰是传统网格特征的优点。

本文使用这两种特征（区域特征和网格特征）作为视觉输入，引入一种新的双层协同Transformer网络(DLCT)以实现区域和网格特征在图像描述中的互补优势。在DLCT中，首先通过一个新的Dual-Way Self Attention(DWSA)处理两类特征源，以挖掘它们的内在属性，引入了一个综合关系注意模块(Comprehensive Relation Attention，CRA)来嵌入几何信息，此外还提出了一个位置约束交叉注意模块(Locality-Constrained Cross Attention，LCCA)来解决这两个特征直接融合引起的语义噪声，其中构造了一个几何对齐图来精确对齐和增强区域和网格特征。

本文的贡献：
1、提出了一种新的双层协同Transformer网络(DLCT)，实现了区域特征和网格特征的互补性
2、提出了位置约束交叉注意(LCCA)来解决两个特征源直接融合引起的语义噪声问题。利用所构建的几何对齐图，LCCA 不仅能准确实现不同源特征之间的交互，还能通过交叉注意融合增强各种特征。
3、首次尝试探索图像描述的绝对位置信息。通过集成绝对位置信息和相对位置信息，进一步改进了层内和层间关系的建模。

贴大佬详解：
【AAAI2021】Dual-Level Collaborative Transformer for Image Captioning