【图文】IRRA:跨模态隐式关系推理与对齐 | CVPR2023

详细内容指路zhihuCVPR2023 | IRRA论文阅读

摘要

Text-to-image Person Retrieval的目的是根据给定的文本描述查询确定目标个体。主要的挑战是学习把视觉和文本模态映射到一个公共的潜在空间里。之前的工作尝试通过利用单模态分开预训练来提取图像和文本特征来解决这一挑战。然而这些方法缺乏有效匹配多模态数据所需的底层对齐能力。此外，这些方法利用先验信息来探索显式的部分对齐，这可能会导致模内信息的失真。

为了缓解这些问题，本文提出：一种跨模态隐式关系推理和对齐框架，学习局部visual-textual tokens之间的关系，增强全局image-text匹配，而不需要额外的事先监督。

具体地，首先在一个掩码语言建模范式（Masked Language Modeling paradigm）中设计了一个 隐式关系推理模块。通过使用一个跨模态多模态交互编码器，将视觉线索集成到文本标记中来实现跨模态交互。其次，为了实现视觉和文本嵌入的全局对齐，提出了 相似度分布匹配算法（Similarity Distribution Matching），来最小化image-text相似度分布和归一化标签匹配分布之间的KL散度。

本文提出的方法在三个公开数据集上都取得了最新SOTA结果，和之前的方法相比Rank-1精度有3%-9%的显著差距。