【多目标跟踪论文阅读笔记——CSTrack】

写在前面

本文重新思考了跟踪任务中两个子任务：检测和ReID；之间的关系，提出二者共享网络参数和结构存在竞争关系，通过解耦思想设计了correlation learning结构，并在JDE的基础上对两任务进行解耦，并针对ReID任务设计了多尺度的特征增强，最终的实验这么这种思路是有奏效的。

1. Abstract

1）本文剖析了检测和ReID任务之间的竞争所产生的原因
2）提出了cross-correlation结构将两任务解耦
3）提出了scale-aware attention网络从多尺度学习embeddings，从而提升ReID效果

2. Introduction

这部分主要提出了2个问题：
1. Detection和ReID之间存在竞争关系
检测任务将不同类别的目标距离拉大，相同类的目标之间距离拉近；
ReID任务将不同目标的距离拉大，哪怕是相同类的不同目标；
因此，one-shot范式的跟踪网络将两任务共享参数，会导致两任务之间相互干扰。

2.ReID收到目标大尺寸变化的影响
ReID网络的目标尺寸并非是固定的，因为不同帧目标的尺寸是在动态变化的，这就要求ReId网络有多尺度学习能力。然而目前的one-shot范式跟踪算法仅仅通过单一分辨的feature map进行ID学习，会影响ReID性能。

3. CSTrack

3.1 Cross-Correlation

如上图，cross-correlation网络对两个任务进行解耦，学习特征的commonality和specificity分别对应Detection和ReID。中间通过矩阵转置、矩阵乘法等对特征进行自相关学习和互相关学习，分别对两个任务输出对应的特征图。

3.2 Scale-Aware Attention

如上如，针对ReID任务网络，设计上图SAAN网络进行多尺度的特征学习。对不同分辨率的特征进行spatial attention，后将不同分辨率的特征concat，并进行channel attention容易在一起，最终输入ReID embedding，这样把不同尺度的特征信息融合在一起，达到多尺寸学习的目的。

4. Experiment

4.1 Ablation

1）CCN模块将两任务解耦，MOTA（偏重于检测）和IDF1（偏重于ReID）都有提升，证明CCN结构对两任务解耦、消除两任务之间的竞争有效；
2）SAAN有效的提升了IDF1，说明多尺度学习在ReID方面确实有提升

4.2 Compare with SOTA

4.3 Upper-bound

将检测器结果换成Ground Truth结果进行跟踪，第一次见到这种实验方式，很新奇，记录一下。另外从本表格也可以看出，CSTtack有效地环节了JDE的两任务矛盾，且SAAN模块让其ReID效果由于分离式跟踪算法

5. Analysis

本文针对跟踪任务中极其重要的矛盾：检测和ReID任务的竞争关系入手，提出了解耦两任务的网络结构， 并且对ReID任务的需求思考的更加清晰，认定多尺度的特征输入会对ReID性能有提升，两个想法在最终的任务中都得到了验证，整篇文章只有5页，非常清晰，方法逻辑能够自洽，对ReID的思考值得借鉴！