CVPR 2019 ATOM:《ATOM: Accurate Tracking by Overlap Maximization》论文笔记

理解出错之处忘不吝指正。

简介

本文是MD在ECO系列之后的新paper，CVPR2019的oral，文章质量很高。
文章链接
代码链接

动机

目前，目标跟踪领域的研究重点集中于分类准确度，这导致目标分类效果好的模型，目标估计（target state estimation）低于预期，相反一些以前的模型能够获得更好的目标估计效果，但这些模型的目标分类效果差。

贡献

1. 本文提出了一种新颖的跟踪架构，由目标估计和目标分类两部分组成。
2. 在目标估计网络部分引入了IoU-Net（出自ECCV2018），使损失更加合理。
3. 目标分类网络使用深度回归网络，由两个全卷积层组成，并提出新的专用在线训练的优化算法。
4. 在新的大型TrackingNet数据集上，ATOM相对于之前的最佳方法实现了15％的相对增益，同时运行速度超过30 FPS。

方法

本文方法的整体架构如下图所示，其实较为主要的是两部分，蓝色的IoU Modulation+蓝色的IoU Predictor可以统称为目标估计网络，绿色的Classifier即为目标分类网络。

目标估计网络用于输出当前帧的bbox的IoU，使用IoU-Net+Siamese架构得到，具体的如下图所示。其中，PrPool是IoU-Net中提出的，如下下图所示。文中提到，直接使用Siamese的架构无法得到很好的效果，作者提出了基于调制（Modulation）的方法。关于这里的“调制”，我的个人理解是，由于直接使用Siamese架构不能得到很好的结果，我们可以将Reference Branch的特征进行一下变化，使其能够“适应”Test Branch的“信道”。


由于目标估计网格的判别能力不足，故引入目标分类网络。这部分本文使用了两层卷积，直接回归出以目标为中心的高斯label，且使用online training实现target-specific。但是使用梯度下降法收敛速度过慢，作者将问题转化为了高斯-牛顿最优化问题，可以使用共轭梯度法解决。具体步骤如下：

可以看下，本文的online training方法和梯度下降的比较。

具体的跟踪流程为：

• 使用目标分类网络计算置信度，置信度最高的位置记为$(x,y)$，使用$(x,y)$+上一帧目标的$w$和$h$作为初始跟踪结果$B$。
• 基于$B$生成10个候选bbox，利用目标估计网络计算它们的IoU，取前三个作为候选结果。
• 将三个候选结果取均值，得到最终跟踪结果。

实验

首先是消融实验，Multi-Scale代表多尺度搜索方法；No Classif.代表无在线目标分类分支；GD是梯度下降，和本文优化方法的“反向传播”调用次数相同，即运算速度相同，同时GD的学习率和动量参数经过精心调整；GD++是5倍运算量版的梯度下降；No HN代表没有难负样本。

接下来，是在NFS和UAV123数据集上的实验结果：

在TrackingNet数据集上的实验结果：

在LaSOT数据集上的实验结果：

在VOT2018上的实验结果：