Invariant grounding for video question answering 论文阅读

论文地址：https://openaccess.thecvf.com/content/CVPR2022/papers/Li_Invariant_Grounding_for_Video_Question_Answering_CVPR_2022_paper.pdf
代码地址：https://github.com/yl3800/IGV

CVPR 2022论文，新加坡国立大学，中国科学技术大学

摘要

视频问答 (VideoQA) 的目的是基于视频相关的内容回指定的问题的。其核心是了解视频中的视觉场景与相关语言语义之间的一致性，以得出答案。在现有 VideoQA 模型中，最为典型的结构是基于经验风险最小化 (ERM)为学习目标，并将视频问题和答案之间的关性作为对齐方式。然而，ERM 是存在问题的，因为它过度利用与问题无关的场景和答案之间的虚假相关性（spurious correlations）作为产生答案的依据，从而忽视了与问题真正存在因果关系的场景。因此，现有的VideoQA 模型的可靠性难以保证。在这项工作中，我们首先对 VideoQA 进行因果分析，并认为排除背景帧的带来的虚假相关性是得出可靠答案的关键。为此，我们提出了一个新的学习框架，即 Invariant Grounding VideoQA (IGV)，并提出只有视频的关键场景（因果场景）是对回答问题有帮助的，而其余的场景（背景）的存在会造成模型泛化性的降低。使用 IGV，VideoQA 模型可以使得回答过程免受虚假相关性的负面影响，从而显着提高推理能力。

方法概述：

image.png

我们提出 IGV，它是一个模型适用于所有VideoQA模型的训练框架，它可以以消除推理过程中背景的影响。根据设计，IGV 拥有三个有趣的特性：1 ）视觉可解释性：“哪个场景是答案的正确原因？”

2）内省学习：“如果没有因果场景，预测答案将如何变化？”

3）泛化能力：“`预测答案将如何响应虚假相关性的变化？”

基于这些属性，做出三个预测：

1）因果预测：因果场景足以回答问题。

image.png

2）背景预测：他将均匀地预测所有答案，因为背景场不包含任何线索

image.png

3）干预预测：随机替换视频中的背景，得到的预测应与因果预测一致。

image.png

联合学习这些预测使 VideoQA 主干模型能够发现问题关键场景。在推理阶段，我们只使用因果预测来回答问题。

实验：

我们在三个数据集：MSVD-QA， MSRVTT-QA，NExT-QA上验证了 IGV 在准确率方面的优越性 以及视觉可解释性和泛化能力。

image.png

image.png