【MOT】C-BIoU：Hard to Track Objects with Irregular Motions and Similar Appearances?

Hard to Track Objects with Irregular Motions and Similar Appearances? Make It Easier by Buffering the Matching Space

rank：CVPR2022 SoccerNet MOT和ECCV2022 MOTComplex DanceTrack挑战中排名第二
论文链接：https://arxiv.org/pdf/2211.14317.pdf
代码：目前未开源
论文接收情况：WACV 2023

1、动机

为什么HOTA评分在DanceTrack上显著下降？
作者指出两个问题，也即本文的动机：
（i）同一目标在相邻帧中的检测和跟踪不重叠（比如快速移动）导致跟踪失败
（ii）运动估计不准确导致检测和跟踪不匹配，特别是对于做不规则运动、非线性运动的目标

2、方法

作者的贡献：
提出了一种级联缓冲联合交叉（C-BIoU）跟踪器，以跟踪具有不规则运动和不可区分外观的多个对象。

• 采用BIOU代替IOU，在原来box的基础上进行等比放大，增加搜索区域，使原来关联不上的det和track增加匹配机会。（作者说BIoU在两个方面减轻不规则运动的影响：一是直接匹配相邻帧中相同但不重叠的检测和轨迹，二是补偿匹配空间中的运动估计偏差）
• 采用级联匹配方式：首先，使用小缓冲区匹配活动轨迹和检测，然后使用大缓冲区再次匹配未匹配的轨迹和检测。（为了防止BIOU随意扩展导致误匹配）

框架

如图4，整个跟踪框架还是比较简单的，第一次匹配时将扩展因子设置为0.3，即变为原来的1.3倍，代价函数为扩展后的IOU，对于未匹配的det和track做二次匹配，这次将扩展因子设置为0.5，再次关联，此时未匹配的det初始化为track，未匹配的track根据寿命判断是否保留。

BIOU

如图2，缓冲区域（buffer）就是在原来box基础上等比扩大，通过扩展因子b控制，不改变中心点位置、box宽高比。

如图3，右下角的球员在两帧中位置偏差很大，IOU为0，采用buffer扩充后BIOU>0，就有可能匹配上了。（这个应该不是相邻两帧）

运动模型

没有采用卡尔曼滤波，采用了更简单的线性平均运动（好像只有在track失配时才用来估计位置，如果每一帧都匹配则直接用det的结果作为状态），具体式子为

其中o=(x,y,w,h)表示检测结果，s表示估计的状态，△表示失配的帧数，n是超参数（用来计算某个周期内的平均速度）。某目标在第t帧获得更新，之后连续△帧失配，则第t+△帧后的状态s为第t帧检测结果加上失配帧数△*前n帧的平均速度。

track管理方法

如图4，基本同sort一样。

3、实验

• 在MOT17和DanceTrack上进行比较，都取得了SOTA（私以为TBD类的MOT方法检测结果严重依赖检测器的质量，自从bytetrack开始就使用yolox-x做检测器，跟踪结果一下子就都上来了，对于JDT类的方法不太公平）
  

• 速度测试，在Intel志强CPU上跑到360+fps，比较的都是不使用网络推理的方法，这些方法更容易在工业界落地（比如百度的pp-human和pp-vehicle使用的ByteTrack和OC-SORT）
  

• 其他数据集的结果
  

• 与使用其他IOU指标的结果（验证BIOU的有效性），以及消融实验结果，其中“C.M.”和“Mo.”分别表示级联匹配和运动估计
  

• 级联匹配中两阶段扩展因子的组合，作者在表4中提到完全不使用BIOU，即第一行IOU Tracker的结果比使用BIOU差（不知道为啥不加一组b1=0的组合）
  

• 检测噪声实验（独一份的实验），因为BIOU需要对原先的box进行扩展，必然导致更多的关联（IOU=0,BIOU>0），因此非常依赖检测器的质量，当存在误检和漏检时影响很大，作者这个实验也证明了这点
  

4、个人总结

作者另辟蹊径，提出了一种既简单粗暴的方法改进了MOT方法。

• 简单是因为总体方法非常简单，感觉是在IOUTracker: High-Speed tracking-by-detection without using image information上的改进，增加了一个非常简单的运动估计模型（线性平均运动），以及非常简单的增大搜索区域的BIOU方法。

• 粗暴是因为当大家都在绞尽脑汁考虑怎么精确估计目标运动时，作者说“我不管啦~”，只要把搜索区域扩大，总能关联上，完全不需要考虑怎么运动，从BIOU到运动模型都是一种模糊估计的方法（类比过程噪声Q很大而观测噪声R很小的卡尔曼滤波）。

此外，随着检测器质量的提高，TBD以及无网络推理的模型表现也越来越好，如表1，SORT在yolox-x的加持下也可以取得非常好的结果，这类速度非常快的方法往往更容易落地。