iCAN: Instance-Centric Attention Network for Human-Object Interaction Detection 论文阅读笔记

摘要

本文研究场景图中人-物交互问题。其核心思想是人或物体实例的外观包含指示线索，利用这些信息可以注意到图像中可以促进交互预测的部分。为了利用这些线索，研究者提出了一个以实例为中心的注意力模块，学习根据每个实例的外观动态突出显示图像中的区域。这种基于注意力的网络允许研究者选择性地聚合与识别 HOI相关的特征。

 

一、引言

 

HOI：人-物交互检测，旨在定位人、物体并识别人与物体之间的交互。图 1 中展示了 HOI 检测问题的一个例子。给定输入图像和物体检测器检测到的实例，研究者的目标是识别出所有的“人-动词-物体”三元关系组。检测和识别 HOI 是朝着更深入理解场景迈出的重要一步。而不是“哪里有什么？”（即，在图像中定位物体实例），HOI 检测的目标是回答“发生了什么？”的问题。研究 HOI 检测问题也为其他相关的高级视觉任务提供了重要线索，例如姿态估计 [2,40]，图像标注 [24,39] 和图像检索 [21]。

Why attention?  加入人体姿势可能有助于识别“骑行”和“投掷”等行为，加入交互点可能有助于识别涉及手 - 物体交互行为，例如“用杯子喝水”和“用勺子吃饭”，加入背景可能有助于区分“用网球拍击中”和“用棒球棍击中”。

本文提出了一种以实例为中心的端到端可训练注意力模块，学习使用人或物体实例的外观来突出信息区域。实例（人或物体）的外观暗示了我们应该注意图像中的哪些位置。例如，为了更好地确定一个人是否拿有物体，应该将注意力集中在人手周围。另一方面，对于图像中的自行车，知道附近人的姿势有助于消除关于物体实例（例如，骑或推自行车）的潜在交互的歧义。本文提出的以实例为中心的注意力网络（iCAN）动态地为每个检测到的人或物体实例生成注意力映射，突出显示与该任务相关的区域。

贡献：

• 引入了一个以实例为中心的注意力模块，它允许网络动态突出信息区域以改进 HOI 检测。
• 在两个大型 HOI 基准数据集上取得了新的当前最佳性能。
• 进行了详细的对比实验和误差分析，以确定各个组成部分的相对贡献，并量化不同类型的错误。
• 发布了源代码和预训练模型，以促进将来的研究。

 

二、相关工作

 

对象检测：是场景理解的基础。本文使用现有的 faster R-CNN来定位人和物体实例。

视觉关系检测：。。。

Attention：。。。

Human-object interactions ：。。。

 

三、以实例为中心的注意力网络（Instance-Centric Attention Network）

 

模型概述。研究者提出的模型包括以下三个主要流：（1）基于人类外观检测交互的人流; （2）基于物体外观预测交互的物体流;（3）用于编码人类和物体边界框之间的空间布局的配对流。基于现有的 Faster R-CNN 检测到的对象实例，使用所有的人 - 物体对生成 HOI 假设。然后融合来自各个流的动作分数以产生最终预测。

 

3.1    方法概述

主要包括两步：

（1）对象检测：用faster R-CNN预测所有的人/对象实例。

          ：detected bounding box for a person.  

          ：an object instance.

          , ：the confidence scores for a detected person and an object, respectively. 

（2）HOI预测：使用以实例为中心的注意力网络评估每个 人-对象对的交互得分。

Inference. 预测HOI得分类似于现有方法[14, 16]，对于每个 人-对象对(, )和每一个a ∈ {1, · · · , A}（所有可能的动作），预测得分。得分依赖于：（1）单个对象检测的置信度（, ）；（2）基于人和物体的外观的交互预测（, ）；（3）基于人与对象之间的空间关系的分数预测。所以，为：

有一些动作类别不包含交互对象（walk, smile... ...）：=*

Training. 由于一个人可以同时对一个或多个目标物体执行不同的动作，例如，一个人可以同时“用网球拍打”和“握住”网球拍，因此HOI检测是一个多标签分类问题，其中每个交互类是独立的，并且不是相互排斥的。我们对每个动作类别应用binary sigmoid分类器，然后最小化每一个动作类别的得分, , 和真实的动作标签之间的交叉熵损失. （We apply a binary sigmoid classifier for each action category, and then minimize the cross-entropy loss between action score ,, , or  and the ground-truth action label for each action category. ）

 

3.2    以实例为中心的注意力模块

iCAN 模块。给定图像的卷积特征（以灰色显示）和人/物体边界框（以红色显示），iCAN 模块提取实例（人类或物体）的外观特征以及来自以实例为中心的注意力映射的特征。为了计算注意力映射，研究者使用 512 个通道的 bottleneck 来评估嵌入空间中的相似性 [37,38]。具体来说，研究者用 1×1 卷积和实例外观特征将图像特征嵌入到全连接层中。这里的 res5 表示第五个残差块，GAP 表示全局平均池化层，FC 表示全连接层。

我们首先使用标准过程提取实例级外观特征，ROI polling，res5，GAP。

接下来的目标是动态生成感兴趣的对象实例的注意力映射。为此，将实例级外观特征和卷积特征映射嵌入到512维空间中，并使用向量点积来测量该嵌入空间中的相似性。然后通过使用softmax获得以实例为中心的注意力映射。注意力映射突出显示图像中的相关区域，其可以有助于识别与给定人/物实例相关联的HOI。 使用注意力映射，我们可以通过计算卷积特征的加权平均值来提取上下文特征。

iCAN模块的最终输出是实例级外观特征和基于注意力的上下文特征的连接（concatenation？）。

优点：Our iCAN module offers several advantages over existing approaches. First, unlike hand-designed contextual features based on pose [6], the entire image [31], or secondary regions [13], our attention map are automatically learned and jointly trained with the rest of the networks for improving the performance. Second, when compared with attention modules designed for image-level classification, our instance-centric attention map provides greater flexibility as it allows attending to different regions in an image depending on different object instances.  自动学习上下文特征；灵活。

 

3.3    Multi-stream network 

Human/object stream.    按照3.2和图4中概述的步骤，提取1）一个人的实例级外观特征或物的实例级外观特征和2）基于注意力映射的上下文特征（或）。将两个特征向量连接起来，并通过两个全连接层来生成动作得分和。来自人类流的分数也允许我们检测不涉及任何物体的动作，例如，行走、微笑。

Pairwise stream.    虽然人和物体的外观特征包含识别交互的强烈提示，但是单独使用外观特征常常导致似是而非的预测。具体来讲，为了编码人和物体之间的空间关系，我们采用了[4]中的双通道二值图像表示来表征交互模式。我们将这两个盒子的并集作为参考框，并在其中构建一个具有两个通道的二值图像。第一通道在人类边界框内具有值1，在其他地方具有值0；第二通道在对象边界框内具有值1，在其他地方具有值0。然后，我们使用CNN从双通道二值图像中提取空间特征。然而，我们发现，由于粗略的空间信息（只有两个边界框），这个特征本身不能产生精确的动作预测。为了解决这个问题，我们将空间特征与人类外观特征连接起来。我们的直觉是，人的外观可以极大地帮助消除空间布局相似的不同行为的歧义，例如，骑自行车与推自行车。

 

3.4    Efficient inference 

 

四、实验

1、在两个大型 HOI 基准数据集上的效果优于当前最佳模型

 

2、在生活照中检测出各种形式的 HOI。模型检测到在不同情况下与人进行“骑”、“吃”、“躺”和“喝”交互的各种物体：

 

检测到对同一类别物体的不同类型的交互：

 

3、Ablation study

a) Contextual feature.  不适用任何上下文特征的baseline，convolutional features from the entire image，bottom-up attention map, and the proposed instance-centric attention map，表明上下文特征通常有助于提高HOI性能。

b) Human-centric vs. object-centric. 表明了以人为中心和以对象为中心的注意力映射的重要性

c) mAP vs. time vs. memory.  在mAP，时间，内存上的权衡

参考：机器之心 《 iCAN：以人为中心的“人-物”交互检测网络》