ITM(四)Multi-Level Visual-Semantic Alignments with Relation-Wise Dual Attention Network for ITM

背景

这篇论文的工作来自华南理工大学，论文接受于IJCAI2019

动机

现有的方法通常只考虑具体的object实体和keyword的对应关系，而不考虑抽象的对象，例如对于某种行为的描述。对某种行为的描述，在现实世界的描述文本中也普遍存在。处理抽象对象的challenge是它们之间没有显式的联系，不像图像中具体的objects那样。作者提出一种关系上的双重关注网络(relation-wise dual attention network，RDAN)用于图像-文本匹配。RDAN与普通的DNN网络的区别：

（除了确定的视觉实体与word之间的对齐，还要考虑抽象对象之间的潜在联系，故取名为多级 visual-text alignments）
如何捕捉潜在的视-语义关系，准确推断多层次的视-语义对齐，是进一步打破视觉与语言边界的关键。

网络结构

方法

视觉-语义的关系CNN模块
在获取到regions与words的相似度矩阵后，利用三种尺寸不同的卷积核：3x1卷积捕捉1词与3个区域的联系；1x3卷积捕捉1区域与3词的联系；3x3卷积用于3元词组和3元区域的联系。最后，使用$1\times 1$卷积作用与前面步骤第三个卷积层的输出，得到学习的结果$S^1$和$S^2$，将其与原相似度矩阵$S$残差相加，作为得到关系增强后的相似度矩阵，后面分别用作生成图像、文本增强表示的系数矩阵。最终，visual-semantic similarity 计算方法：

两个余弦相似度的加权。

实验结果

结论

本文的目的是处理图像-文本匹配中的抽象对象。与具体对象不同，抽象对象缺乏文本与图像区域之间的明确联系，需要通过多种途径探索其内在联系。因此，我们提出了一个关系型双注意网络来捕捉潜在的关系，并推断出视觉-语义的匹配。我们首先使用一个视觉-语义关系网络来学习一组过度完整的image-text对之间的潜在关联。然后，我们提出了一个双通道注意网络，以获得更具有表达性的区域/词表征和衡量图像-文本相似度。实验结果证明了该模型的有效性，取得了显著的性能改善。