霸榜SOTA!多目标跟踪算法ByteTrack!华科、港大、字节出品!

点上方计算机视觉联盟获取更多干货

仅作学术分享,不代表本公众号立场,侵权联系删除

转载于:Sophia知乎

https://zhuanlan.zhihu.com/p/423487567

985人工智能博士笔记推荐

周志华《机器学习》手推笔记正式开源!附pdf下载链接,Github2500星!

今天推荐的是华科、港大、字节出品的多目标跟踪算法ByteTrack!目前在多目标跟踪MOT榜单第一!30FPS速度在MOT17上成绩是80.3 MOTA,77.3 IDF1和63.1 HOTA。文章开源算法!2021年10月最新文章!

霸榜SOTA!多目标跟踪算法ByteTrack!华科、港大、字节出品!_第1张图片

文章地址: http://arxiv.org/abs/2110.06864

开源地址: https://github.com/ifzhang/ByteTrack

Leaderboard: https://motchallenge.net/results/MOT17/?det=Private

摘要:

霸榜SOTA!多目标跟踪算法ByteTrack!华科、港大、字节出品!_第2张图片

多目标跟踪(MOT)的目标是估计视频中目标的边界框和特征。大多数方法通过关联得分高于阈值的检测框来获得身份。低检测分数的物体,例如被遮挡的物体,被简单地丢弃,这导致不可忽略的真实物体丢失和碎片轨迹。为了解决这一问题,我们提出了一种简单、有效、通用的关联方法,即通过关联每个检测框而不是高分检测框进行跟踪。对于分数较低的检测框,我们利用它们与小轨迹的相似性来恢复真实目标,并过滤掉背景检测。当应用于9个不同的最先进的跟踪器时,我们的方法实现了从1到10点的IDF1分数的一致改进。为了提高MOT的性能,我们设计了一个简单而强大的跟踪器——ByteTrack。我们首次在单个V100 GPU上以30 FPS的运行速度,在mo17测试集上实现了80.3 MOTA, 77.3 IDF1和63.1 HOTA。

效果对比:

霸榜SOTA!多目标跟踪算法ByteTrack!华科、港大、字节出品!_第3张图片

目前大部分MOT方法会选择一个阈值,只保留高于这个阈值的检测结果来做关联得到跟踪结果,低于这个阈值的检测结果直接丢弃。BYTE将高分框和低分框分开处理,利用低分检测框和跟踪轨迹之间的相似性,从低分框中挖掘出真正的物体,过滤掉背景。

流程

(1)分两类:高分框+低分框

(2)第一次先用高分框和之前的轨迹匹配

(3)第二次用低分框与第一次没有匹配上的高分框的跟踪轨迹进行匹配

(4)对于没有匹配上轨迹的高分框,建立一个新的跟踪轨迹。对于没有匹配检测框的跟踪轨迹,保留30帧,以便于后面再次匹配

霸榜SOTA!多目标跟踪算法ByteTrack!华科、港大、字节出品!_第4张图片

我们的方法的例子关联每个检测框。(a)显示所有检测框及其得分。(b)显示了以往方法获得的tracklet,这些tracklet与得分高于阈值(即0.5)的检测框相关联。相同的盒子颜色代表相同的身份。(c)显示用我们的方法得到的轨迹。虚线框表示使用卡尔曼滤波的前一个轨迹的预测框。两个低分检测框与之前的tracklet正确匹配

算法流程

霸榜SOTA!多目标跟踪算法ByteTrack!华科、港大、字节出品!_第5张图片 霸榜SOTA!多目标跟踪算法ByteTrack!华科、港大、字节出品!_第6张图片

使用YOLOX作为目标检测器。在数据关联的过程中,和SORT一样,只使用卡尔曼滤波来预测当前帧的跟踪轨迹在下一帧的位置,预测的框和实际的检测框之间的IoU作为两次匹配时的相似度,通过匈牙利算法完成匹配

实验效果:

霸榜SOTA!多目标跟踪算法ByteTrack!华科、港大、字节出品!_第7张图片 霸榜SOTA!多目标跟踪算法ByteTrack!华科、港大、字节出品!_第8张图片 霸榜SOTA!多目标跟踪算法ByteTrack!华科、港大、字节出品!_第9张图片 霸榜SOTA!多目标跟踪算法ByteTrack!华科、港大、字节出品!_第10张图片 霸榜SOTA!多目标跟踪算法ByteTrack!华科、港大、字节出品!_第11张图片 霸榜SOTA!多目标跟踪算法ByteTrack!华科、港大、字节出品!_第12张图片

作者做的内容充分,并且很有意思,大家可以看一下代码进一步学习

往期论文推荐:

跨界思维!Hinton新作!目标检测新算法Pix2Seq!效果显著!谷歌大脑出品!

高效!Anchor DETR:旷视提出一种基于Transformer的目标检测神器!

小目标神器!TPH-YOLOv5:将Transformer预测加载Yolov5!

全新思路!阿里达摩院将Transformer引入在线行为检测!ICCV2021

高效新思路!实例分割算法!腾讯、华科出品!入选ICCV 2021!

超强总结!456篇参考文献!《计算机视觉对抗攻击与防御》综述!

最新变体Transformer!∞-former!DeepMind 出品!

最新综述!深度神经网络视觉识别!329篇文献!西安交大、清华等出品

超强YOLOP!CVPR 2022领域主席团队开源!全景感知多任务SOTA!

Fastformer:史上最强最快Transformer!清华、MSRA出品!

脑洞大开!油画渲染的新算法 Paint Transformer!ICCV2021 Oral!

首次!阿里达摩院将Pure Transformer 应用于目标重识别ReID!

ResNet超强变体CoTNet!一种新的Transformer计算机视觉模块!

新模型!Conformer!Transformer与CNN的超强融合!

ImageNet又被Long-Short Transformer 霸榜!

新想法!华科、清华、康奈尔联合提出“圆形卷积”!聚合方形和圆形优势

表现SOTA!DetCo算法:目标检测无监督对比学习

新模型SkipNet在ImageNet分类任务大放光彩!优化损失函数!

高效神器!小目标检测迎来曙光!SSPNet金字塔网络!川大出品

超强!MDETR:基于Transformer的端到端目标检测神器!开源!

优秀!一种巧妙组合算法YOLOX!旷视重磅开源!

新突破!Swin-UNet:基于纯 Transformer 结构的医学图像分割网络

-------------------

END

--------------------

我是王博Kings,985AI博士,华为云专家、CSDN博客专家(人工智能领域优质作者)。单个AI开源项目现在已经获得了2100+标星。现在在做AI相关内容,欢迎一起交流学习、生活各方面的问题,一起加油进步!

我们微信交流群涵盖以下方向(但并不局限于以下内容):人工智能,计算机视觉,自然语言处理,目标检测,语义分割,自动驾驶,GAN,强化学习,SLAM,人脸检测,最新算法,最新论文,OpenCV,TensorFlow,PyTorch,开源框架,学习方法...

这是我的私人微信,位置有限,一起进步!

霸榜SOTA!多目标跟踪算法ByteTrack!华科、港大、字节出品!_第13张图片

王博的公众号,欢迎关注,干货多多

手推笔记:

思维导图  |  “模型评估与选择”  |  “线性模型”  |  “决策树”  |  “神经网络”  |  支持向量机(上)  |  支持向量机(下)  |  贝叶斯分类(上)  |  贝叶斯分类(下)  |  集成学习(上)  |  集成学习(下)  |  聚类  |  降维与度量学习  |  稀疏学习  |  计算学习理论  |  半监督学习  |  概率图模型  |  规则学习

增长见识:

博士毕业去高校难度大吗?  |  研读论文有哪些经验之谈?  |  聊聊跳槽这件事儿  |  聊聊互联网工资收入的组成  |  机器学习硕士、博士如何自救?  |  聊聊Top2计算机博士2021年就业选择  |  非科班出身怎么转行计算机?  |  有哪些相见恨晚的科研经验?  |  经验 | 计算机专业科班出身如何提高自己编程能力?  |  博士如何高效率阅读文献  |  有哪些越早知道越好的人生经验?  |  

其他学习笔记:

PyTorch张量Tensor  |  卷积神经网络CNN的架构  |  深度学习语义分割  |  深入理解Transformer  |  Scaled-YOLOv4!  |  PyTorch安装及入门  |  PyTorch神经网络箱  |  Numpy基础  |  10篇图像分类  |  CVPR 2020目标检测  |  神经网络的可视化解释  |  YOLOv4全文解读与翻译总结  | 

0f6ddba56f7eb03641cdf8a934a3c726.gif

点分享

7c9dbb0c8d0989163548889991fb1dad.gif

点收藏

e418a8ff900ee3e8ac0fc42a0fe762ea.gif

点点赞

ebab79fabf869cb2ca2dddb2b3837f44.gif

点在看

你可能感兴趣的:(算法,人工智能,神经网络,计算机视觉,机器学习)