YOLOv4来了!COCO 43.5 AP,65FPS!实现速度与精度的最优平衡

今年初 YOLO 之父Joseph Redmon宣布推出CV界,引起轩然大波,大家纷纷猜测YOLO是否不会再出v4版,退出历史舞台。

今天,YOLOv4重磅发布,作者为俄罗斯开发者 Alexey Bochkovskiy 和两位中国台湾开发者 Chien-Yao Wang、Hong-Yuan Mark Liao。

YOLOv4来了!COCO 43.5 AP,65FPS!实现速度与精度的最优平衡_第1张图片

 

YOLOv4 没有理论创新,而是在原有YOLO目标检测架构的基础上增加了近年CNN改进的众多技术

数据处理网络训练再到损失函数遵行“拿来主义”,加上漂亮的工程实践打造实现最佳速度与精度平衡的目标检测新基准!

在MS COCO 数据集 实现 43.5% AP(平均精准度) (65.7% AP50 ), 速度也更快了,在Tesla V100 GPU上 ∼65 FPS!

FPS :每秒帧率 Frame Per Second

AP:average precision 平均精准度

YOLOv4来了!COCO 43.5 AP,65FPS!实现速度与精度的最优平衡_第2张图片

上图为YOLOv4与其他SOTA目标检测算法的比较,在精度差不多的情况下YOLOv4比EfficientDet快两倍,而相对于YOLOv3 AP和FPS 分别提升了10%和12%!

1.目标检测模型架构

YOLOv4来了!COCO 43.5 AP,65FPS!实现速度与精度的最优平衡_第3张图片

作者首先对现有目标检测方法进行了总结,无论是one-stage 、two-stage 还是 anchor free 、anchor based,均包含 Input、Backbone 、Neck、Heads(Dense Prediction或者Sparse Prediction)四部分。

目前各部分的主流技术包括:

 

YOLOv4来了!COCO 43.5 AP,65FPS!实现速度与精度的最优平衡_第4张图片

然后作者对现有目标检测相关技术的进展做了总结,即大礼包“bag of freebies”和特价袋“Bag of specials”。

  • bag of freebies 大礼包 指那些能够提高精度而不增加推断时间的技术。比如数据增广的方法图像几何变换、CutOut、grid mask等,网络正则化的方法DropOut、DropBlock等,类别不平衡的处理方法、难例挖掘方法、损失函数的设计等。

  • bag of specials 特价贷 是指那些增加稍许推断代价,但可以提高模型精度的方法,比如增大模型感受野的SPP、ASPP、RFB等,引入注意力机制Squeeze-and-Excitation (SE) 、Spatial Attention Module (SAM)等 ,特征集成方法SFAM , ASFF ,  BiFPN等,改进的激活函数Swish、Mish等,或者是后处理方法如soft NMS、DIoU NMS等

02 YOLOv4方法介绍

架构选择:

经过综合考虑计算量和精度,作者最终选择的架构是:CSPDarknet53 作为 backbone, SPP 模块用于增大感受野, PANet 用作 neck, 并仍沿袭 YOLOv3(anchor based) head。

最终 YOLOv4实用的技术:

YOLOv4来了!COCO 43.5 AP,65FPS!实现速度与精度的最优平衡_第5张图片

YOLOv4包括
Backbone:CSPDarknet53 [81]
Neck:SPP [25],PAN [49]
Head:YOLOv3 [63]
YOLO v4 使用:
主干网络的大礼包(BOF):Cutmix和Mosaic数据增强,Dropblock正则化类标签平滑
主干网络的特价袋(Bos):误操作跨阶段部分连接(CSP)、多重剩余连接(MIWRC)
探测器的免费包(BOF):Clou lossCMBN,Dropblock正则化,马赛克数据增强,自我对抗训练,消除网格敏感度,使用多个锚用于单个地面真值,余弦退火调度器[52],最优超参数,随机训练形状
探测器专用包(Bos):误激活PP块、山姆块、泛路径聚合块、DIOU-NMS

03 实验结果

作者在MS COCO 数据集上进行了实验,结果如下:

YOLOv4来了!COCO 43.5 AP,65FPS!实现速度与精度的最优平衡_第6张图片

每一行分别代表不同的GPU计算结果:

 

  • 在主流的SOTA目标检测算法中,YOLOv4实现了最佳的速度和精度的平衡,

  • 在精度差不多的情况下,YOLOv4的速度往往是最快的,

  • 尤其在FPS超过30的实时算法中,YOLOv4是精度最高的。

 

因为不同的算法公布时可能在不同的GPU上进行测试,作者根据不同的GPU(Maxwell/Pascal/Volta)分别列出了YOLOv4与其他算法的更详细的比较,即Table 8、9、10,帧率大于等于30的用蓝底标出。

YOLOv4来了!COCO 43.5 AP,65FPS!实现速度与精度的最优平衡_第7张图片

YOLOv4来了!COCO 43.5 AP,65FPS!实现速度与精度的最优平衡_第8张图片

YOLOv4来了!COCO 43.5 AP,65FPS!实现速度与精度的最优平衡_第9张图片

可见YOLOv4 在实时目标检测算法中精度最高,实现了精度和速度的最佳平衡。

04 传送门

论文地址:

https://arxiv.org/pdf/2004.10934v1.pdf

 

 

 

开源地址:

https://github.com/AlexeyAB/darknet

不仅有代码、模型而且提供了详细的训练和测试方法。

(在OpenCV中文网公众号后台回复“YOLOv4”,即可收到论文下载)

虽然YOLOv4在理论上没有创新,但其引人注目的精度速度,承袭YOLO系列的简单易上手的操作体验,必将成为实时目标检测的口碑之作!

终于有人扛起了YOLO的大旗了!

你可能感兴趣的:(计算机视觉)