MOT多目标跟踪之JDE

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

论文题目：Towards Real-Time Multi-Object Tracking(ECCV2020)
代码地址：https://github.com/Zhongdao/Towards-Realtime-MOT

---

一、提出原因及主要贡献

track by detection是由检测定位与数据关联模型组成，本质上是实时关联方法，并不是MOT实时系统。
论文：1.将外观嵌入模型插入在检测模型中，使模型同时输出。
2.提出一种简单快速的数据关联方法。
JDE模型与其他两步走模型的区别
论文不考虑采用Two-stage检测方法，因为并不能达到实时。
论文直接把检测结果和嵌入结果显示出来，达到实时。

二、论文架构

1.整体架构

使用FPN结构输出多尺度的特征图。
预测head包含了几层卷积，输出(4+2)A+DxHxW的特征图，A指的是anchor，D是嵌入维度

三、论文主要内容

1.检测学习

1. 重新设计了anchor的数量、规模及宽高比使其更适应目标。宽高比设置为1:3，设置12个anchor,每层4个。anchor规模从8x21/2到8x212/2。
2. 设置前后景阈值 IOU＞0.5的设置为前景，IOU<0.3的设置为背景(传统为0.4)。
3. 检测学习有两个loss,前后景分类loss和边界框回归loss。

2.外观嵌入学习

本打算使用triplet loss（三元数组:anchor与正样本、负样本距离）：

但三元损失训练不确定而且收敛可能会慢。
为此使三元损失平滑地更新，优化得到：

经过改写成为：

作者发现这和CEloss十分相似，

作者认为：
1.CEloss 使用学习得到的类似权重作为类别实例而不是单独使用嵌入实例。
2.在CEloss中所有负样本类别都参与计算。
于是作者猜测：
使用CE_loss的效果要比其他两个更好。通过实验验证了该方法。

3.自动损失平衡

在JDE中每个预测head都是多任务问题。

通过一种独立任务不确定性进行自动搜索来设计loss

4.在线关联

对于下一刻输入的帧，计算运动关联矩阵Am和外观关联矩阵Ae，Am使用余弦相似度进行计算得到，Ae使用马氏距离计算。
计算代价矩阵，使用匈牙利算法进行匹配。

通过卡尔曼滤波进行更新轨迹，外观状态被更新为

α=0.9为动量，fit为当前帧匹配的检测的外貌嵌入