霸榜SOTA！多目标跟踪算法ByteTrack！华科、港大、字节出品！
点上方计算机视觉联盟获取更多干货
仅作学术分享，不代表本公众号立场，侵权联系删除
转载于：Sophia知乎
https://zhuanlan.zhihu.com/p/423487567
985人工智能博士笔记推荐
周志华《机器学习》手推笔记正式开源！附pdf下载链接，Github2500星！
今天推荐的是华科、港大、字节出品的多目标跟踪算法ByteTrack！目前在多目标跟踪MOT榜单第一！30FPS速度在MOT17上成绩是80.3 MOTA，77.3 IDF1和63.1 HOTA。文章开源算法！2021年10月最新文章！
文章地址: http://arxiv.org/abs/2110.06864
开源地址: https://github.com/ifzhang/ByteTrack
Leaderboard: https://motchallenge.net/results/MOT17/?det=Private
摘要：
多目标跟踪(MOT)的目标是估计视频中目标的边界框和特征。大多数方法通过关联得分高于阈值的检测框来获得身份。低检测分数的物体，例如被遮挡的物体，被简单地丢弃，这导致不可忽略的真实物体丢失和碎片轨迹。为了解决这一问题，我们提出了一种简单、有效、通用的关联方法，即通过关联每个检测框而不是高分检测框进行跟踪。对于分数较低的检测框，我们利用它们与小轨迹的相似性来恢复真实目标，并过滤掉背景检测。当应用于9个不同的最先进的跟踪器时，我们的方法实现了从1到10点的IDF1分数的一致改进。为了提高MOT的性能，我们设计了一个简单而强大的跟踪器——ByteTrack。我们首次在单个V100 GPU上以30 FPS的运行速度，在mo17测试集上实现了80.3 MOTA, 77.3 IDF1和63.1 HOTA。
效果对比：
目前大部分MOT方法会选择一个阈值，只保留高于这个阈值的检测结果来做关联得到跟踪结果，低于这个阈值的检测结果直接丢弃。BYTE将高分框和低分框分开处理，利用低分检测框和跟踪轨迹之间的相似性，从低分框中挖掘出真正的物体，过滤掉背景。
流程
（1）分两类：高分框+低分框
（2）第一次先用高分框和之前的轨迹匹配
（3）第二次用低分框与第一次没有匹配上的高分框的跟踪轨迹进行匹配
（4）对于没有匹配上轨迹的高分框，建立一个新的跟踪轨迹。对于没有匹配检测框的跟踪轨迹，保留30帧，以便于后面再次匹配
我们的方法的例子关联每个检测框。(a)显示所有检测框及其得分。(b)显示了以往方法获得的tracklet，这些tracklet与得分高于阈值(即0.5)的检测框相关联。相同的盒子颜色代表相同的身份。(c)显示用我们的方法得到的轨迹。虚线框表示使用卡尔曼滤波的前一个轨迹的预测框。两个低分检测框与之前的tracklet正确匹配
算法流程
使用YOLOX作为目标检测器。在数据关联的过程中，和SORT一样，只使用卡尔曼滤波来预测当前帧的跟踪轨迹在下一帧的位置，预测的框和实际的检测框之间的IoU作为两次匹配时的相似度，通过匈牙利算法完成匹配
实验效果：
作者做的内容充分，并且很有意思，大家可以看一下代码进一步学习
往期论文推荐：
跨界思维！Hinton新作！目标检测新算法Pix2Seq！效果显著！谷歌大脑出品！
高效！Anchor DETR：旷视提出一种基于Transformer的目标检测神器！
小目标神器！TPH-YOLOv5：将Transformer预测加载Yolov5！
全新思路！阿里达摩院将Transformer引入在线行为检测！ICCV2021
高效新思路！实例分割算法！腾讯、华科出品！入选ICCV 2021!
超强总结！456篇参考文献！《计算机视觉对抗攻击与防御》综述！
最新变体Transformer！∞-former！DeepMind 出品！
最新综述！深度神经网络视觉识别！329篇文献！西安交大、清华等出品
超强YOLOP！CVPR 2022领域主席团队开源！全景感知多任务SOTA！
Fastformer：史上最强最快Transformer！清华、MSRA出品！
脑洞大开！油画渲染的新算法 Paint Transformer！ICCV2021 Oral！
首次！阿里达摩院将Pure Transformer 应用于目标重识别ReID！
ResNet超强变体CoTNet！一种新的Transformer计算机视觉模块！
新模型！Conformer！Transformer与CNN的超强融合！
ImageNet又被Long-Short Transformer 霸榜！
新想法！华科、清华、康奈尔联合提出“圆形卷积”！聚合方形和圆形优势
表现SOTA！DetCo算法：目标检测无监督对比学习
新模型SkipNet在ImageNet分类任务大放光彩！优化损失函数！
高效神器！小目标检测迎来曙光！SSPNet金字塔网络！川大出品
超强！MDETR：基于Transformer的端到端目标检测神器！开源！
优秀！一种巧妙组合算法YOLOX！旷视重磅开源！
新突破！Swin-UNet：基于纯 Transformer 结构的医学图像分割网络
-------------------
END
--------------------
我是王博Kings，985AI博士，华为云专家、CSDN博客专家（人工智能领域优质作者）。单个AI开源项目现在已经获得了2100+标星。现在在做AI相关内容，欢迎一起交流学习、生活各方面的问题，一起加油进步！
我们微信交流群涵盖以下方向（但并不局限于以下内容）：人工智能，计算机视觉，自然语言处理，目标检测，语义分割，自动驾驶，GAN，强化学习，SLAM，人脸检测，最新算法，最新论文，OpenCV，TensorFlow，PyTorch，开源框架，学习方法...
这是我的私人微信，位置有限，一起进步！
王博的公众号，欢迎关注，干货多多
手推笔记：
思维导图 | “模型评估与选择” | “线性模型” | “决策树” | “神经网络” | 支持向量机（上） | 支持向量机（下） | 贝叶斯分类（上） | 贝叶斯分类（下） | 集成学习（上） | 集成学习（下） | 聚类 | 降维与度量学习 | 稀疏学习 | 计算学习理论 | 半监督学习 | 概率图模型 | 规则学习
增长见识：
博士毕业去高校难度大吗？ | 研读论文有哪些经验之谈？ | 聊聊跳槽这件事儿 | 聊聊互联网工资收入的组成 | 机器学习硕士、博士如何自救？ | 聊聊Top2计算机博士2021年就业选择 | 非科班出身怎么转行计算机？ | 有哪些相见恨晚的科研经验？ | 经验 | 计算机专业科班出身如何提高自己编程能力？ | 博士如何高效率阅读文献 | 有哪些越早知道越好的人生经验？ |
其他学习笔记：
PyTorch张量Tensor | 卷积神经网络CNN的架构 | 深度学习语义分割 | 深入理解Transformer | Scaled-YOLOv4！ | PyTorch安装及入门 | PyTorch神经网络箱 | Numpy基础 | 10篇图像分类 | CVPR 2020目标检测 | 神经网络的可视化解释 | YOLOv4全文解读与翻译总结 |
点分享
点收藏
点点赞
点在看