GCT: Graph Convolutional Tracking

摘要

传统的Siamese网络在不同的上下文语境下没有充分利用目标的时空信息，当目标发生形变或面对背景干扰等挑战时，跟踪器无法有效地识别目标和背景。因此，本文首次将图卷积网络GCN引入到Siamese网络中，充分利用若干历史帧的时空信息和当前帧的上下文信息。该图卷积跟踪网络GCT包括两个图结构，分别是时空图卷积网络ST-GCN和上下文图卷积网络CT-GCN，前者通过对以往若干模板帧的学习得到基于时空信息的模板特征ST-Feature，该特征与当前帧的上下文特征进行element-wise addition后输入CT-GCN，输出的自适应特征与当前帧进行互相关操作，即可得到最终的响应图。

背景

基于Siamese网络的跟踪算法在线跟踪中不根据目标的变化进行自适应更新，因此当目标发生形变或面对光照变化、背景干扰等挑战时，简单的互相关操作无法跟踪模板帧目标特征在当前帧中识别目标。因此，本文提出利用历史帧的时空信息和当前帧目标的上下文信息来自适应学习目标外观变化。此外，作者也指出，本文是第一篇将图卷积网络GCN应用到基于Siamese网络的跟踪算法的论文。

贡献

本文的网络结构如上图所示，主要工作就是在Siamese网络框架中利用GCN学习目标的时空信息和上下文信息。

• 关于时空信息的建模：本文利用若干连续历史帧的特征信息，在每一帧将feature map进行分块处理，挖掘每一帧特征的空间信息。在图结构中如果将每一帧中不同空间位置的特征建模为顶点，那么连接顶点间的边可以大致分为两类：其一，在每一帧中连接不同空间位置特征的spatial edge，在论文中作者表述为intra-exemplar connection；其二，连接不同历史帧中相同空间位置特征的temporal edge，在论文中作者表述为inter-exemplar connection，这样，目标的时空信息就通过一个3D图结构完成了建模，稀疏的图结构有效地降低了计算复杂度