华科开源多目标跟踪（MOT）实时新SOTA：FairMOT

点上方蓝字计算机视觉联盟获取更多干货

在右上方 ··· 设为星标 ★，与你不见不散

编辑：Sophia
计算机视觉联盟  报道  | 公众号 CVLianMeng

转载于 ：知乎：黄飘

https://zhuanlan.zhihu.com/p/126558285

AI博士笔记系列推荐：

博士笔记 | 周志华《机器学习》手推笔记“神经网络”

前言

又开源了一篇MOT的新SOTA，也是实时的，也是CenterNet为底层的，估计是看到CenterTrack开源了。emmm....看来我近期看的几篇都在今年某顶会扎堆了，噗。这里我还是把这篇文章给介绍一下吧，有意思的是其中的大部分论点我都在之前的博客([2]、[3])说过了。

FairMOT

论文题目：A Simple Baseline for Multi-Object Tracking
作者团队：华科&微软亚研院
备注：MOT15~20(private)：59.0、68.7、67.5、58.7 MOTA
论文链接：https://arxiv.org/abs/2004.01888

代码链接：https://github.com/ifzhang/FairMOT

这篇论文的立意是两部分，一个是类似于CenterTrack的基于CenterNet的联合检测和跟踪的框架，一个是类似于JDE，但是却又不同的，探讨了检测框架与ReID特征任务的集成问题。

作者称这类框架为one-shot MOT框架，论文一开始作者讨论了检测框架和ReID任务的关系：

作者的意思是anchor-based的检测框架中存在anchor和特征的不对齐问题，所以这方面不如anchor-free框架，emmm...指出的问题的确是对的，不过详细的讨论建议各位看看我之前对这个问题的详细讨论[3] [4]。作者因为这个问题而选择了anchor-free算法——CenterNet，不过其用法并不是类似于CenterTrack[2]中采取的类似于D&T的孪生联合方式，而是采用的Tracktor++的方式。

我们知道原始的anchor-free框架的大多数backbone都是采用了骨骼关键点中的hourglass结构：

后面我会单独开一个Re-ID和MOT的专题，这里呢作者就谈到了Re-ID网络中典型的多尺度问题，所以就提出要将hourglass结构改成上图中的多尺度融合的形式。最后通过两个分支完成了检测和Re-ID任务的集成，那么接下来的部分就是如何训练。

在训练部分呢，同样地，考虑到正负样本不均衡问题，作者采用了focal loss的形式：

其中M(x,y)表示的是heatmap在(x,y)处存在目标的概率，而对于box size和offset则采用L1 loss：

最后对于Re-ID分支而言，作者采用了identification式的分类框架，这里面的L就是不同的ID的one-hot表示，p就是网络预测的分类置信度。

在实验部分，作者先是通过实验证明anchor-free的框架比anchor-based框架更适合reid：

紧接着论证了多尺度融合框架对于Re-ID的影响：

的确，从特征空间来讲，各ID的特征距离更大了。而对于Re-ID的特征维度，作者通过实验表明128维即可，这里我就不细说了。最后放一下结果，下面都是private赛道的：

我最近是不是有点高产似。。。

参考资源

[1] A Simple Baseline for Multi-Object Tracking

[2] https://zhuanlan.zhihu.com/p/125395219

[3] https://zhuanlan.zhihu.com/p/114700229

[4] https://zhuanlan.zhihu.com/p/126359766

END

声明：本文来源于网络

如有侵权，联系删除

联盟学术交流群

扫码添加联盟小编，可与相关学者研究人员共同交流学习：目前开设有人工智能、机器学习、计算机视觉、自动驾驶（含SLAM）、Python、求职面经、综合交流群扫描添加CV联盟微信拉你进群，备注：CV联盟  

最新热文荐读

GitHub | 计算机视觉最全资料集锦

Github | 标星1W+清华大学计算机系课程攻略！

Github | 吴恩达新书《Machine Learning Yearning》

收藏 | 2020年AI、CV、NLP顶会最全时间表！

收藏 | 博士大佬总结的Pycharm 常用快捷键思维导图！

收藏 | 深度学习专项课程精炼图笔记！

笔记 | 手把手教你使用PyTorch从零实现YOLOv3

笔记 | 如何深入理解计算机视觉？（附思维导图）

笔记 | 深度学习综述思维导图（可下载）

笔记 | 深度神经网络综述思维导图（可下载）

总结 | 2019年人工智能+深度学习笔记思维导图汇总

点个在看支持一下吧