论文笔记——Tracktor：tracking without bells and whistles

论文标题：《tracking without bells and whistles》

链接：https://openaccess.thecvf.com/content_ICCV_2019/html/Bergmann_Tracking_Without_Bells_and_Whistles_ICCV_2019_paper.html

以往的MOT主要基于tracking-by-detection，即两个步骤：（1）对每一个frame独立地做detection；（2）相邻frame之间做data association。

但是步骤（2）的工作比较challenging，过去的几年中提升的MOTA点不多。因此在这篇ICCV19的文章中，作者提出：如果一个detector能够胜任tractor的功能，那么相应的specific的tracking算法就没有必要了。

于是作者在这篇论文中做出了以下几点贡献：

（1）提出了Tracktor，利用检测器的regression head实现目标框的时间realign；

（2）在vanilla Tractor上增加了两个extensions，分别是基于Siamese CNN的re-ID网络，以及基于CMC个CVA的motion model；

（3）分析了之前的一些tracking算法及其不足，证明Tracktor效果SOTA；

（4）提供了一种新的MOT思路，可以follow。

Tracktor的主要思路就是利用一个detector，对于第t个frame，可以利用t-1帧的目标位置，通过detector的回归head进行回归预测。这种算法有两点好处：（1）不需要任何专门的tracking算法，更简单；（2）test时没有复杂的优化，适合online。

对于detector，作者采用的Faster-RCNN，而在Frcnn的backbone部分，采用了Resnet50+FPN 的一个骨干架构，可以进行多尺度feature的提取，适应于不同大小的目标。

其训练过程与传统的detector无差别，首先在coco17上做pretrain，后改变cls维度后在MOT17Det上做fine-tune。

Tracktor的流程如上图所示：

1）回归预测：对于当前第t帧处于active的tracklets，利用其t-1帧的坐标，和当前frame提取的feature map，做ROIAlign进一步得到预测的第t帧的坐标和置信度；

2）筛除匹配不上的轨迹：对于1中预测的置信度，将低于阈值的对应tracklet从active中拿掉，再用NMS筛除掉occluded的目标；

3）对于新出现的轨迹：首先在第t帧做目标检测，得到一系列检测框，筛除掉「active tracklets当前帧的bbox」的IOU大于某阈值的检测框，剩下作为新tracklet的第一帧加入到active中。

算法伪代码如下，非常直观：

对于上述的直接regression来做tracking的方法，本身是一个理想模型，基于以下两点假设：（1）camera没有剧烈的motion（行人没有剧烈的运动）；（2）frame rate不能太低。

而这两点显然是不能避免的，因此对于此，作者加入了两个extensions，即Tracktor++。首先采用了基于ECC的CMC模型来做一个相机motion代偿，这里仅考虑了rotating；还采用了速度常量模型，根据t-2和t-1时刻的中心坐标，先推算t时刻的位置，再用Tractor做regression。

为了减少ID-switch，作者也采用了一个re-ID网络，这里用了一个孪生网络，在Adversarial Attack中感觉比较常见，即Siamese CNN。其思路是将anchor映射到feature embedding，在特征空间中衡量相似度，以判断是否为同一个追踪目标。关于Siamese及其Triplet Loss的部分，推荐这篇博客。

Ablation study，感觉加入了extension之后的效果并没提升太多，反而FPN的重要性更大，也比之前的D&T算法更优秀。

与之前一些SOTA方法的比较，各方面performance还是可以的，特别是MOTA。


在低visibility的目标，小目标，以及较长的detection gap上面，Tracktor++的效果更加solid。