Bridging the Gap Between Detection and Tracking: A Unified Approach

摘要

近年来，目标检测领域的算法和模型可以推广应用到跟踪领域，与目前大多数结合跟踪-检测的算法不同，本文的出发点不是设计一个新的跟踪-检测算法，而是提出一种通用框架，可以将任意目标检测网络移植到跟踪领域。

背景

本文提出将目标检测网络移植到跟踪领域是出于以下motivation的考虑：第一，检测算法在复杂场景下可以精确区分不同物体，将检测网络应用到跟踪领域可能可以提高跟踪准确性和鲁棒性；第二，对检测网络进行重用可以避免重复性工作（区分不同物体的工作），可以将研究重点放在如何使tracker学习到target-specific特征等跟踪领域特定的问题；第三，实现一个通用框架在现实社会生产中更具可行性（应用范围广且对于不同检测网络框架具有通用性）。

但是，目标检测领域和跟踪领域也是存在一定的gap，需要解决以下三个主要难点：第一，目标检测预先知道目标种类，跟踪领域不知道（目标检测网络预训练的目标种类与实际检测过程中会遇到的目标种类一致，但是跟踪领域的目标可以是任意物体，可以是训练阶段未出现过的物体）；第二，目标检测不关心同类物体之间的区别，但是跟踪需要考虑相似物干扰的问题；第三，目标检测是静态的，跟踪需要额外考虑视频相邻帧的时间信息，以进行长期稳定的跟踪。

贡献

为了在目标检测领域和跟踪领域架起沟通的桥梁，本文提出将目标跟踪任务划分为one-shot object detection和few-shot instance classification两个子任务，前者通过检测找到所有与目标相似的候选样本，后者通过分类网络从若干候选样本中确定目标。具体地，本文提出一个target-relevant module(TGM)来完成第一个任务，引入Model-Agnostic Meta-Learning(MAML)来完成第二个任务。

本文方法

本文的网络框架如上图所示（可以将图中的检测模块换成大多数的检测网络）：
（1）target-relevant module(TGM)模块编码了目标特征、搜索区域特征以及二者的融合特征，用于指导网络筛选出一系列target-like物体；
（2）采用meta-learner来快速学习目标特征（网络不可能提前知道要跟踪的目标，因此采用meta-learning的方法使网络能都识别出临时挑选的目标，MAML在少量样本和较少训练迭代刺属下就能很快adapt to new tasks）；
（3）引入一个更新策略减少模型过拟合：对模型参数进行线性更新；