近期关于Sort和DeepSort改进的工作

本文总结近期三篇对Sort和DeepSort改进的工作，Sort和DeepSort以及JDE的推理流程可以参考之前的文章：Sort和Deepsort原理解析及在JDE和Fairmot中的应用

一、ByteTrack: Multi-Object Tracking by Associating Every Detection Box

论文链接：https://arxiv.org/pdf/2110.06864.pdf
Github：https://github.com/ifzhang/ByteTrack

1、Motivation

找回被检测阈值卡掉的低阈值正确检测结果。

2、方法细节

本文的做法很简单，先通过正常的匹配方式将正常的检测结果和轨迹做匹配，然后在第二部分check了下低于阈值的检测结果和未匹配成功的轨迹，如果可以匹配上的话则把这些结果捞回来。

二、StrongSORT: Make DeepSORT Great Again

论文链接：https://arxiv.org/pdf/2202.13514.pdf

1、Motivation

提出了两个改进来提高Deepsort的性能。
1）提出了一种无外观的链路模型(AFLink)，将短轨迹与完整轨迹相结合。
2）我们提出了高斯平滑插值(GSI)来补偿缺失的检测。

2、方法细节

1）ECC：一种相机运动的补偿方式。
2）EMA：embedding的线性更新。
3）NSA Kalman：去除噪声的卡尔曼滤波。
4）多加的箭头：给embedding的度量矩阵加一个运动距离限制。

以上的改进是已有的，本文所提出的两个创新点是offline的。
1）AFLink

把轨迹的k帧的位置点（xt，yt）抽象为一个输入，用卷积提取特征，后pooling成向量相加到一起，用FC层来打分，判断是不是同一个轨迹，从而实现短轨关联成长轨迹。

2）GSI
一种带高斯平滑的插值方式。可以比较好拟合出非线性的插值。

三、Observation-Centric SORT: Rethinking SORT for Robust Multi-Object Tracking

论文链接：https://arxiv.org/pdf/2203.14360.pdf
Github：https://github.com/noahcao/OC_SORT

1、Motivation

本文的出发点是强调运动信息的作用，证明了无需外观等信息，用一个简单的运动模型可以获得最先进的跟踪性能。强调“Observation”的作用，在目标丢失中恢复轨迹，并减少线性的运动模型在检测不到目标期间所带来的误差累积。

文中所提到的Sort的三项缺陷：
1）使用高帧率视频不利于抑制运动噪声： 在高帧率视频的连续帧之间，物体的位移噪声可以与实际的物体位移的幅度相同，导致KF估计的物体速度存在较大的方差；
2）观测不足造成的轨迹偏移： 由于遮挡或非线性运动，当没有新的物体观测（检测结果）与现有的轨迹相匹配时，物体状态噪声可以进一步累积。
3）依赖KF的状态估计： SORT是以估计为中心的，这意味着它严重依赖于KF状态估计，并且只使用观测值作为辅助信息。然而，作者认为当前检测器比以往的可靠，可以更多关注当前的检测。

文中所提到三项改进：
1）Observation-centric Online Smoothing (OOS) strategy：减少KF带来的轨迹累计误差；
2） Observation-Centric Momentum (OCM)：在代价矩阵中增加轨迹的方向一致性的影响，以更好地实现轨迹和观测值之间的匹配。
3）Observation-Centric Recovery (OCR)：为了处理物体在短时间窗口内由于遮挡而未被跟踪的情况，通过将它们最后的观测结果与新的观测结果联系起来来恢复。

主要是改进了KF中的一些限制。

2、方法细节

1、Observation-centric Online Smoothing (OOS)
这个方法作者称之为online smoothing，本质是想通过当前帧所观测到的结果zt2和之前轨迹的位置zt1，来生成更多的虚拟点，辅助KF中的参数快速的更新过来。避免长时间没有新的观测的融入而造成的运动轨迹错误。如下图所示：
2、Observation-Centric Momentum (OCM)
这个比较好理解，在计算IOU度量矩阵的时候，把速度/方向计算成一个代价矩阵加入到原度量矩阵中，如下式：

3、 Observation-Centric Recovery (OCR)
OCR指的是再找回一次的流程，伪代码如下图：