用于时序动作提名生成任务，爱奇艺提出BC-GNN图神经网络 | ECCV 2020

时序动作提名生成任务可以从未处理的长视频中定位出包含动作内容的片段，对视频理解以及时序行为检测任务等有着重要的作用。随着视频数量的激增以及视频内容的丰富，对时序动作提名算法的关注和需求也得到巨大提升。然而目前的方法多采用先生成起止边界，再将起止边界组合成候选动作提名，最后生成候选动作提名的内容置信度，这种处理方式忽略了边界预测与内容预测之间的联系，从而影响了该任务最终效果的进一步提升。

本论文提出的方法在ActivityNet-1.3 和 THUMOS14这两个公开数据集上的两项任务：时序动作提名以及时序行为检测任务上均取得目前最好的效果。在本文中，我们将边界和内容分别看做是节点和边，构建边界内容图，对边界和内容的关系进行建模，并提出一种新的推理方式，使用融合边界和内容的信息更新对应的节点和边的特征。使用图对有关联的步骤进行建模的方式具有一定的通用性，可以应用到相似的任务中,比如应用到视频理解 视频人物分析 视频广告点位生成等。

概述

时序动作提名生成(Temporal action proposal generation)任务需要从未处理的长视频中精确定位包含高质量动作内容的片段，该任务在视频理解中起着重要的作用。现有的方法多采用先生成起止边界，再将起止边界组合成候选动作提名，然后再生成候选时序片段的内容置信度，这种方式处理方式忽略了边界预测与内容预测之间的联系，为了解决这个问题，爱奇艺提出了Boundary Content Graph Neural Network (BC-GNN)，通过图神经网络对边界和内容预测之间的关系进行建模，通过利用两者之间的内在联系生成更精确的时序边界和可靠的内容置信度分数。

在BC-GNN中，将候选时序片段的内容（content）作为图的边（edge），将候选时序片段的边界（boundary，开始点和结束点）作为图的节点（node），然后设计了一种更新边和节点特征的推理方法，将更新之后的特征用来预测起始点概率和内容的置信度，最终生成高质量的proposal。我们的方法最终在ActivityNet-1.3 和 THUMOS14这两个公开数据集的时序动作提名生成任务以及时序行为检测任务上均达到了领先水平。

方法介绍

上图是BC-GNN的整体框架图，主要包括五个流程，分别为1）特征提取（Feature Encoding），2）基础模块（Base Module）， 3）图构建模块（Graph Construction Module, GCM)， 4）图推理模块（Graph Reasoning Module, GRM） 和5）输出模块 （Output Module）

1） 特征提取模块：

我们使用在视频行为识别中取得良好效果的two-stream网络将视频编码成特征。Two-stream由spatial和temporal两个分支网络构成，spatial分支网络的输入是单张rgb图像，用来提取空间特征，temporal分支网络的输入是多张光流图像，用来提取运动特征。对于一个未处理的长视频，将对应的视频帧切分为T个可处理单元（snippet），每个可处理单元经two-stream之后被编码成为D维的特征向量，其中D维特征向量由spatial和temporal分支网络的最后一层输出拼接而成，从而视频被编码成一个TxD的特征矩阵，T是特征序列的长度，D表示特征的维度。
BC-GNN主要包括四个模块：基础模块、图构建模块、图推理模块和输出模块

2） 基础模块：

基础模块由两层1D卷积组成，主要用来扩大感受野并作为整个网络的基础。

3） 图构建模块：

图构建模块用来构建一个边界内容图，构建图的过程如上图所示。我们构建的边界内容图是一个二分图，二分图是一类特殊的图，它的顶点由两个独立集U和V组成，并且所有的边都是连结一个U中的点和一个V中的点。在构建图的过程中，视频的每个处理单元snippet对应的时刻可以看作是proposal的起始点和结束点，从而可以得到起始点集合Ns和结束点集合Ne，Ns和Ne作为边界内容图的两个互相独立的顶点集。用ts,i、te,j分别表示Ns中的任意起始点ns,i和Ne中的任意结束点ne,j对应的时刻，其中i,j=1,2,…,T，当满足te,j > ts,i 时ns,i和ne,j之间有边连接，用di,j表示。

当连接起始点和结束点之间的边没有方向时可以得到（a）所示的无向图。由于起始点代表proposal的开始时间，结束点代表proposal的结束时间，连接起始点和结束点的边应该带有方向性，并且从起始点到结束点的边代表的信息与从结束点到起始点的边代表的信息是不同的，因此我们将（a）所示的无向图转换为图（b）所示的有向图。具体的转换过程为，将无向图中的无向边分成两个有相同节点和相反方向的有向边。

在进行图推理操作之前，我们为构建的边界内容图中的每个节点和边赋予其特征。为了得到节点和边的特征，我们在基础模块后面连接三个并行的1D卷积，从而得到三个特征矩阵，分别为起始点特征矩阵Fs、结束点特征矩阵Fe和内容特征矩阵Fc，这三个特征矩阵的时间维度和特征维度均相同，大小为TxD’。对于任意起始节点ns,i，对应的时间为ts,i，则该节点的特征为Fs特征矩阵第i-1行对应的特征向量。同理，对于任意的结束节点ne,j，其特征为Fe特征矩阵第j-1行对应的特征向量。若ns,i和ne,j之间有边连接，边di,j对应的特征获取过程为：1）首先对Fc特征矩阵第i-1行到j-1对应的特征矩阵在时序方向上进行线性插值，得到固定大小的特征矩阵NxD’（N为人为设置的常数）；
2）然后将NxD’转化为(NxD’)x1；
3）在(N·D’)x1特征后连接一个全连接层，得到维度为D’的特征向量即为边di,j对应的特征。在有向图中，节点和边的特征更新之前，连接两个节点方向不同的两条边共享同一个特征向量。
4） 图推理模块：
为了实现节点和边缘之间的信息交换，爱奇艺提出了一种新的图推理方法，该推理方法可分为边特征更新和节点特征更新两个步骤。边特征更新步骤旨在汇总有边连接的两个节点的属性，更新过程如下所示：

其中σ表示激活函数ReLU，θs2e和θe2s代表不同的可训练的参数，×代表矩阵相乘，∗代表element-wise相乘。

节点特征更新步骤旨在聚合边及其相邻节点的属性，更新过程如下所示：

其中e(h,t)表示从头结点h指向尾节点t的边对应的特征，K 表示以 h为头节点的边的总数。为了避免输出特征数值规模的增加，我们在更新节点特征前先对对应的边的特征进行归一化，之后再把更新后的边的特征作为相应头结点特征的权重。σ表示激活函数ReLU，θnode代表可训练的参数。

5） 输出模块：
如BC-GNN的整体框架图所示，候选proposal由一对节点与连接它的边产生，并且其起始点、结束点和内容的置信度分别基于更新后的节点特征和边特征生成，具体过程如下所示：

实验

我们在ActivityNet-1.3和THUMOS-14这两个公开数据集上分别进行时序动作提名生成实验和时序行为检测实验。

1）时序动作提名生成实验：

从上面两个表中可以看出，我们在两个通用的数据集上的效果均达到领先水平。

2）时序行为检测实验：

采用对proposal进行分类的方式得到时序行为检测结果，从上面两个图中可以看出，在两个数据上我们提出的方法均取得领先的结果。

3）消融实验：

在BC-GNN算法中，相比于直接使用传统的GCN，将无向图转变成有向图，并且增加了边特征更新步骤，为了验证这两个策略的有效性，在ActivityNet-1.3数据集的时序动作提名生成任务上进行了消融实验。从下图的表格和结果曲线上可以看出，这两种策略均有利于结果的提升。
创新点

相比于目前通用的将边界预测与内容预测划分为两个步骤的算法，本文提出的方法使用图神经网络，对边界预测与内容预测的关系进行建模，将边界预测和内容预测的过程联系起来。高质量的动作内容有利于边界的调整，同时精确的边界定位会帮助内容置信度的预测。此外，我们还提出一种新的图推理方法，融合边界信息和内容信息去更新对应的节点和边的信息。本文提出的对有关联的两个步骤进行建模的方法可以应用于其他相似任务中。

包括本文在内，目前学术界在时序行为检测任务上取得不错效果的方法大多采用先提取动作提名再对动作提名进行分类的方法，这种两阶段的方式增加了整个流程的复杂度和运算量，未来将针对这类问题将有更多的设计与探索。

论文收录链接：
https://eccv2020.eu/accepted-papers

阅读全文，可获取论文原文：
http://arxiv.org/abs/2008.01432