视觉溯因推理

Visual Abductive Reasoning

Abstract

给定包含一系列事件的视频序列，对其中存在因果性的事件进行遮蔽操作，模型需要给出其余事件描述的同时，给出遮蔽事件的描述。

本文提出的REASONER模型包含以下两种结构：

1. 对于视觉Token的编码器（Transformer结构），设计了上下文的、方向的位置编码策略；
2. 解码器（Transformer结构），设计了级联的策略，一阶段用于生成基本的语言Token，后续不断进行优化。关于优化，本文采用句子的置信度分数来引导句子之间的信息传递。

Introduction

VAR的难点在于：

1. VAR需要想象在观察之外找到假设；
2. VAR 旨在发现观察到的事件之间合理的因果结构；
3. VAR 与日常情况下的人类推理类型更相关，此时手头的信息通常不完整 ，无法得出绝对某些结论。

Related Work

相关的工作包含：

1. 密集视频描述（DVC）：通过多句段落描述视频中的所有事件；
2. 上下文相关的文本生成：句子填空、篇幅填空、反事实故事生成、归因文本生成；
3. 视觉未来/状态预测。

VAR Dataset

1. Youtube生活视频，包含了丰富的社会场景和人类活动；
2. 电视节目和电影视频，包含丰富的种类；

Methodology

因果注意的编码器

相对位置编码的衍生，用于建模因果链。

$$U_{nm}=F_{Rcl}(n,m,X_n)=X_n{R}_{l(n,m)}^T$$

其中，$R\in {\mathbb{R}}^{(2N-1)\times d}$，是一个可学习的矩阵，$l(n,m)=n-m+N$。

该编码最终与注意力矩阵相加：
A n , m = X n W q ( X