多目标跟踪MOT未来研究方向讨论

首先补充一下，避免被抨击（此处省略笑哭的表情），标题中说的“未来研究方向”其实是相对于之前比较成熟的方案而言的，一方面下面的总结是我一年半之前的毕业论文里总结的内容，另一方面下文总结中的方向可能当下正在陆续被研究者们推进中，已经不是适用于所有人的“未来方向”了，这里说明一下。

当然写这篇文章的初衷也是大家一起交流讨论，所以欢迎大家积极发表自己正在做的方向或者心目中的未来方向。

正文

之前分享了一篇多目标跟踪MOT的入门综述，主要是之前自己刚接触MOT时，网上的公开资料比较少，为了便于感兴趣的朋友能快速入门，就整理了自己毕业论文里的部分材料，写下了一篇综述：(点击链接进入)
多目标跟踪(MOT)最新综述，一文快速入门

没想到这篇文章得到了一些朋友的肯定，并因此结识了一些同行朋友，想想也是蛮有意义的。不过这篇写综述当时比较赶，漏掉了最后的“未来工作”，之前一直想着有时间再单独写一篇补充一下，但是拖延症一直没有行动。最近有几个做目标跟踪的朋友私信我询问可做的方向，就一起讨论了一下，也顺便写了这篇文章，希望MOT方向的朋友可以一起交流。

结合相关论文和网上开源资料，个人总结多目标跟踪后面可以在以下方向投入一下：

（1）多类别多目标跟踪，即MCOT

MCOT，Multiple Classes Object Tracking。当前的绝大多数MOT算法，包括我自己之前的工作在内，还都是只针对“汽车”或“行人”等单一目标种类进行的跟踪。但在实际应用中一般需要对多个类别的目标进行同步跟踪。所以，在后续研究中，从事MOT方向研究的朋友们可以考虑尝试同时对多类别多目标进行跟踪。

（2）多摄像头多目标跟踪

不难理解，多（跨）摄像头下的多目标跟踪挑战性更大。对于多（跨）摄像头，有两种工作环境，第一种是对于同一场景，多个摄像头进行拍摄，即在多个视角下进行。这种情况下，需要考虑融合来自多个镜头的数据信息。第二种是，每个镜头记录不同的场景，组成一个非重叠的多相机网络。此时，跨摄像头的数据关联变成了目标重识别（Reid）问题，进一步增加了研究难度。

（3）与其它计算机视觉任务结合的多目标跟踪

目前已经有一些研究者着手于将MOT与其它一些计算机视觉任务结合处理，他们的实验结果也表明这些任务能够从彼此中获益。大家可以考虑的结合包括但不限于：目标分割、行人重识别、人体姿势估计、动作识别等。举例说明，目标分割分支能够提供背景信息和场景结构，可能对MOT问题的处理很有帮助。

（4）基于当前方案的改进，如设计新的loss、新的网络设计、transformer等注意力机制等

这一部分也是当前大家主要在做的方向，也还包括为了便于嵌入式落地所做的轻量级设计等工作。当然，对于数据标注、生成的工作也很有意义，因为目标跟踪的数据标注十分耗时耗力。这一部分可做的工作其实蛮多的，篇幅及能力限制，就不在赘述了，欢迎大家积极补充。

其实，以上部分内容小汤之前也已经分享过一次百度飞桨pptracking的直播视频，里面对MOT也做了一些相似的说明，感兴趣的朋友可以看一下：（点击链接，即可进入）

多目标跟踪MOT入门教程、百度实时跟踪系统PP-Tracking介绍与上手

写在最后：
欢迎对目标跟踪、目标检测、目标分类、语义分割、深度估计等计算机视觉任务及自动驾驶技术感兴趣的朋友，加入技术交流群4群，和众多网友一起交流，一起玩！

推荐阅读：（点击进入）
kitti百度网盘分享 kitti百度云盘，全套kitti分享 自动驾驶

CVPR2022车道线检测Efficient Lane Detection via Curve Modeling