An Analysis of Visual Question Answering Algorithms翻译

Abstract

在视觉问答(VQA)中，算法必须回答关于图像的基于文本的问题。尽管自2014年末以来，VQA已经创建了多个数据集，但它们在内容和算法评估方式上都存在缺陷。结果，评估分数被夸大了，而且主要是通过回答更简单的问题来决定的，这使得比较不同的方法变得很困难。在本文中，我们使用一个名为任务驱动图像理解挑战(TDIUC)的新数据集来分析现有的VQA算法，该数据集有超过160万个问题，分为12个不同的类别。我们还引入了对给定图像没有意义的问题，以迫使VQA系统对图像内容进行推理。我们提出新的评估方案，以弥补过度代表的问题类型，并使其更容易研究算法的优势和弱点。我们分析了基线和最先进的VQA模型的性能，包括多模态紧致双线性池(MCB)、神经模块网络和循环回答单元。我们的实验建立了注意力如何比其他类别更有助于某些类别，确定哪些模型比其他模型更有效，并解释了简单的模型(例如MLP)如何通过简单地学习回答大的、简单的问题类别来超越更复杂的模型(MCB)。

1. Introduction

在开放式视觉问题解答（VQA）中，算法必须对有关图像的任意基于文本的问题产生答案[21，3]。 VQA是一个令人兴奋的计算机视觉问题，它要求系统能够执行许多任务。 真正解决VQA将是人工智能的一个里程碑，并将极大地促进人机交互。 但是，VQA数据集必须测试广泛的能力，才能充分衡量进度。

VQA的研究始于2014年底，当时DAQUAR数据集已经发布[21]。 包括DAQUAR在内，已经发布了六个主要的VQA数据集，并且算法得到了快速改进。 在最受欢迎的数据集“ VQA数据集” [3]上，最好的算法现在达到了70％的准确性[5]（人类表现为83％）。 尽管这些结果令人鼓舞，但现有数据集在多种偏见方面存在严重问题。 此外，由于现有数据集无法将实例分为有意义的类别，因此比较各个算法的功能并不容易。 例如，与回答需要空间推理的问题相比，一种方法在颜色问题上可能更胜一筹。 由于颜色问题在数据集中更为常见，因此，由于使用了评估指标，因此在空间推理方面表现出色的算法将无法获得该功绩的适当奖励。

贡献：我们的论文有四个主要目的，旨在更好地分析和比较VQA算法：1）我们创建了一个新的VQA基准数据集，其中根据其解决的任务将问题分为12个不同的类别； 2）我们提出两个新的评估指标，以补偿数据集偏差的形式； 3）我们平衡是/否对象存在检测问题的数量，以评估均衡分布是否可以帮助算法更好地学习； 4）我们引入了荒谬的问题，这些问题迫使算法确定一个问题对于给定的图像是否有效。然后，我们使用新的数据集重新训练和评估基线和最新VQA算法。我们发现，我们提出的方法可以对VQA算法进行更细微的比较，并有助于我们更好地了解特定技术的优势。此外，它还使我们能够回答有关VQA算法的几个关键问题，例如，“算法的泛化能力是否受到数据集中偏差的阻碍？”，“使用空间注意力是否有助于回答特定的问题类型”，“ VQA算法在回答不太常见的问题上有多成功？”和“ VQA算法能否区分真实问题和荒谬问题？”

2. Background

2.1. Prior Natural Image VQA Datasets

2014年至2016年间，已经发布了六个具有自然图像的VQA数据集：DAQUAR [21]，COCO-QA [25]，FM-IQA [6]，VQA数据集[3]，Visual7W [35]和Visual Genome [ 18]。 FM-IQA需要人为判断，尚未得到广泛使用，因此我们不再对其进行进一步讨论。 表1显示了其他数据集的统计信息。 在其他[13、34、29]之后，我们将包含自然图像的VQA数据集部分称为COCO-VQA。 详细的数据集评论可以在[14]和[28]中找到。

前面提到的所有VQA数据集都是有偏差的.DAQUAR和COCO-QA很小，并且问题类型的种类有限。 视觉基因组，Visual7W和COCO-VQA较大，但是它们存在一些偏差。 偏见的形式既有问的各种问题，也有人们为他们提供的答案。 对于COCO-VQA，仅使用问题特征进行训练的系统即可达到50％的准确性[13]。 这表明某些问题具有可预测的答案。 如果没有更细致的分析，确定哪种类型的问题更依赖于图像将是一项挑战。 对于使用Mechanical Turk制作的数据集，注释者通常会询问对象识别问题，例如“图像中有什么？”或“图像中是否有大象？”。 请注意，在后一个示例中，除非对象在图像中，否则注释者很少会问这种问题。 在COCO-VQA上，以“是否存在”开头的问题中有79％的答案是“是”。

2017年，引入了VQA 2.0 [7]数据集。在VQA 2.0中，对于两个不同的图像会询问相同的问题，并且指示注释者给出相反的答案，这有助于减少语言偏见。但是，除了语言偏见外，这些数据集在不同类型问题的分布以及每种问题类型内答案的分布方面也存在偏见。 VQA数据集使用的性能指标将每个测试实例的值均等（例如，简单准确性）。尽管有些人确实为基本问题类型计算了其他统计信息，但并未从这些子评分中计算出总体表现[3，25]。由于更容易产生偏见的问题类型也更加常见，这加剧了带有偏见的问题。与以“ Is”和“ Are”开头的问题相比，注释者很少问“为什么”和“哪里”开头的问题。例如，在COCO-VQA上，“是/不是”问题的准确性提高15％将使整体准确性提高5％以上，但是正确回答所有“为什么/在何处”问题的准确性将仅提高4.1％[14]。由于现有评估指标无法正确解决这些偏差，因此在这些数据集上训练的算法会学习利用这些偏差，从而导致在实际环境中部署时，系统运行不佳。

出于相关原因，过去十年中发布的主要基准测试不使用简单的准确性来评估图像识别和相关的计算机视觉任务，而是使用诸如每类平均值的准确性等指标来补偿不平衡的类别。 例如，在Caltech-101 [4]上，即使使用了平衡的训练数据，简单的准确性也无法解决这样一个事实，即某些类别比其他类别更容易分类（例如，面部和平面很容易且测试次数最多） 图片）。 每类平均准确性通过要求系统在每个类别上都做得很好来弥补这一点，即使类别中测试实例的数量相差很大。

现有基准测试不需要报告不同问题类型的准确性。 即使报告了问题，问题类型也可能过于粗糙而无用，例如，COCO-VQA中的“是/否”，“数字”和“其他”。 为了改善对VQA算法的分析，我们将问题分类为有意义的类型，计算子分数，并将其纳入我们的评估指标。

2.2. Synthetic Datasets that Fight Bias

先前的工作已经研究了VQA中的偏差并提出了对策。 在[33]中，创建了阴和阳数据集来研究对卡通图像具有相同数量的二进制（是/否）问题的影响。 他们发现，很难从平衡的数据集中回答问题。 这项工作意义重大，但仅限于是/否问题，其使用卡通图像的方法无法直接扩展到真实世界的图像。

本文的目标之一是确定算法可以轻松回答哪些类型的问题。在[1]中，提出了具有相似目标的SHAPES数据集。 SHAPES是一个小型数据集，由64个图像组成，这些图像是通过将彩色几何形状按不同的空间方向排列而组成的。每个图像具有相同的244个“是/否”问题，导致15,616个问题。尽管SHAPES是重要的辅助评估，但仅凭它不足以测试VQA算法。 SHAPES的主要局限性在于其所有图像均为2D形状，不能代表真实世界的图像。同样，合成语言和基本视觉推理（CLEVR）[12]也建议使用3D渲染几何对象来研究模型的推理能力。 CLEVR比SHAPES大，并使用3D渲染的几何对象。除了形状和颜色之外，它还为对象增加了材质属性。 CLEVR有五种类型的问题：属性查询，属性比较，整数比较，计数和存在。

SHAPES和CLEVR都是专门为组合语言方法量身定制的[1]，并且低估了视觉推理的重要性。 例如，CLEVR问题“大球体上剩下的棕色金属物体所剩圆柱体的大小是多少？”需要苛刻的语言推理能力，但是解析简单的几何对象只需要有限的视觉理解。 与这三个综合数据集不同，我们的数据集包含自然图像和问题。 为了改进算法分析和比较，我们的数据集有更多（12）个明确定义的问题类型和新的评估指标。

3. TDIUC for Nuanced VQA Analysis

在过去两年中，多个公开发布的数据集刺激了VQA研究。 但是，由于评估指标存在偏差和问题，因此解释和比较VQA系统的性能可能是不透明的。 我们提出了一个新的基准数据集，该数据集明确地将问题分为12个不同的类别。 这样一来，您就可以衡量每个类别中的性能，并了解对于当今最佳系统而言，哪种问题是容易的还是很难的。 此外，我们使用评估指标来进一步补偿偏差。 我们将数据集称为“任务驱动图像理解挑战（TDIUC）”。 表1和图2分别显示了该数据集的总体统计数据和示例图像。

TDIUC有12种类型的问题被选择来代表经典计算机视觉任务和新颖的高级视觉任务，这些任务需要不同程度的图像理解和推理。 问题类型为：

• 1. Object Presence (e.g., ‘Is there a cat in the image?’)（是否有物体）
• 2. Subordinate Object Recognition (e.g., ‘What kind of furniture is in the picture?’)（对象种类识别）
• 3. Counting (e.g., ’How many horses are there?’) （数量）
• 4. Color Attributes (e.g., ‘What color is the man’s tie?’) （颜色）
• 5. Other Attributes (e.g., ‘What shape is the clock?’) （其他属性）
• 6. Activity Recognition (e.g., ‘What is the girl doing?’) （动作识别）
• 7. Sport Recognition (e.g.,‘What are they playing?’)（体育活动识别）
• 8. Positional Reasoning (e.g., ‘What is to the left of the man on the sofa?’)（位置推理）
• 9. Scene Classification (e.g., ‘What room is this?’)（场景分类）
• 10. Sentiment Understanding (e.g.,‘How is she feeling?’)（情绪理解）
• 11. Object Utilities and Affordances (e.g.,‘What object can be used to break glass?’)（用途）
• 12. Absurd (i.e., Nonsensical queries about the image)（错误）

表2给出了TDIUC中每个问题类型的数量。问题来自三个来源。 首先，我们从COCO-VQA和Visual Genome中导入了一部分问题。 其次，我们创建了从COCO的语义分段注释[19]和Visual Genome的对象和属性注释[18]生成问题的算法。 第三，我们使用人工注释器来确定某些问题类型。 在以下各节中，我们简要描述每种方法。

3.1. Importing Questions from Existing Datasets

我们从COCO-VQA和Visual Genome中导入了属于所有问题类型的问题，除了“对象实用程序和提供能力”。 我们通过使用大量的模板和正则表达式来做到这一点。 对于视觉基因组，我们导入了具有一个单词答案的问题。 对于COCO-VQA，我们导入了带有一两个单词答案的问题，并且其中五个或更多注释者同意。

对于颜色问题，如果其中包含单词“ color”且答案是常用颜色，则将导入该问题。 如果答案是九种常见运动之一或十五种常见活动之一，并且该问题包含描述动作或运动（例如玩耍，投掷等）的常见动词，则该问题被分类为活动或运动识别问题。 -答案必须以“有多少”开头，答案必须是一个小的可数整数（1-16）。 其他类别使用正则表达式确定。 例如，形式为“是否在感觉？”的问题被归类为情感理解，而形式“在它的右边/左边/后面是什么？”被归类为位置推理。

同样，“图像中的