YOLOv4: Optimal Speed and Accuracy of Object Detection

Alexey Bochkovskiy∗[email protected] Wang∗Institute of Information Science Academia Sinica, [email protected] Mark Liao Institute of Information Science Academia Sinica, [email protected].

论文阅读地址：YOLOv4: Optimal Speed and Accuracy of Object Detection-ReadPaper论文阅读平台

Abstract

有大量的特征被认为可以提高卷积神经网络(CNN)的准确性。需要在大数据集上对这些特征的组合进行实际测试，并对结果进行理论论证。有些特性专门针对特定的模型和特定的问题，或者只针对小规模的数据集;而一些特性，如批处理规范化和剩余连接，适用于大多数模型、任务和数据集。我们假设这些通用特征包括加权剩余连接(WRC)、跨阶段部分连接(CSP)、跨小批归一化(CmBN)、自对抗训练(SAT)和网格激活。我们使用了新的功能:WRC、CSP、CmBN、SAT、Mish激活、Mosaic数据增强、CmBN、DropBlock正则化和CIoU丢失，并结合其中一些实现了最先进的结果:MS COCO数据集43.5% AP (65.7% AP50)，特斯拉V100的实时速度为65帧/秒。源代码是

GitHub - AlexeyAB/darknet: YOLOv4 / Scaled-YOLOv4 / YOLO - Neural Networks for Object Detection (Windows and Linux version of Darknet )YOLOv4 / Scaled-YOLOv4 / YOLO - Neural Networks for Object Detection (Windows and Linux version of Darknet ) - GitHub - AlexeyAB/darknet: YOLOv4 / Scaled-YOLOv4 / YOLO - Neural Networks for Object Detection (Windows and Linux version of Darknet )https://github.com/AlexeyAB/darknet

1. Introduction

大多数基于cnn的目标检测器在很大程度上只适用于推荐系统。例如，通过城市摄像机搜索免费停车位是由慢速精确的模型执行的，而汽车碰撞警告与快速不准确的模型有关。提高实时对象检测器的准确性，不仅可以将它们用于生成提示的推荐系统，还可以用于独立的流程管理和减少人工输入。在传统图形处理单元(GPU)上的实时对象检测器操作允许它们以合理的价格大量使用。现代最精确的神经网络不是实时运行的，需要大量的gpu来进行大规模的小批量训练。我们解决这样的问题，通过创建一个CNN，在常规GPU上实时操作，并为此训练只需要一个常规GPU。

图1:拟议的YOLOv4和其他最先进的物体探测器的比较。YOLOv4运行速度比EfficientDet快两倍，性能相当。YOLOv3的AP和FPS分别提高10%和12%。

本文的主要目标是设计一种可用于生产系统的快速目标探测器，并优化并行计算，而不是低计算量理论指标(BFLOP)。我们希望设计的对象可以很容易地训练和使用。例如，任何使用传统GPU进行训练和测试的人都可以实现实时、高质量、令人信服的目标检测结果，如图1所示的YOLOv4结果。我们的贡献总结如下:

1. 我们开发了一个高效、强大的目标检测模型。它使每个人都可以使用1080ti或2080ti GPU来训练一个超级快速和准确的物体探测器。

2. 我们验证了最先进的bag - freebies和Bag-of-Specials方法的对象检测在检测器训练的影响。

3.我们改进了最先进的方法，使其更有效，更适合单GPU训练，包括CBN [89]， PAN [49]， SAM[85]等。

 2. Related work

2.1. Object detection models

 现代的检测器通常由两部分组成，一个是在ImageNet上预先训练的主干，一个是用于预测对象的类和边界框的头部。对于那些运行在GPU平台上的探测器，它们的主干可以是VGG [68]， ResNet [26]， ResNeXt[86]，或DenseNet[30]。对于那些运行在CPU平台上的检测器，它们的主干可以是SqueezeNet [31]， MobileNet[28,66,27,74]，或ShuffleNet[97,53]。对于头部部分，通常分为两种，即一级目标检测器和二级目标检测器。最具代表性的两级物体检测器是R-CNN[19]系列，包括fast R-CNN [18]， faster R-CNN [64]， R-FCN [9]， Libra R-CNN[58]。也可以将两级对象检测器制成无锚对象检测器，如RepPoints[87]。对于单级物体检测器，最具代表性的模型有YOLO[61,62,63]、SSD[50]和RetinaNet[45]。近年来，开发了一种无锚单级目标探测器。这类探测器有CenterNet [13]， CornerNet [37, 38]， FCOS[78]等。近年来发展起来的目标检测器通常在主干和头部之间插入一些层，这些层通常用于收集不同阶段的特征图。我们可以称它为对象检测器的颈部。通常，一个颈部由若干条自下而上的路径和若干条自上而下的路径组成。采用该机制的网络包括特征金字塔网络(Feature Pyramid Network, FPN)[44]、路径聚合网络(Path Aggregation Network, PAN)[49]、BiFPN[77]和NAS-FPN[17]。

除了上述模型外，一些研究者将重点放在直接构建一个新的骨干(DetNet [43]， DetNAS[7])或一个新的整体模型(SpineNet [12]， HitDetector[20])来进行对象检测。

综上所述，一个普通的物体检测器由以下几个部分组成:

输入:图像，补丁，图像金字塔

Backbones: VGG16 [68]， ResNet-50 [26]， SpineNet [12]， EfficientNet-B0/B7 [75]， CSPResNeXt50 [81]， CSPDarknet53 [81]

         

2.2. Bag of freebies 

 通常，常规的对象检测器是脱机训练的。因此，研究人员一直希望利用这一优势，开发出更好的训练方法，使目标检测器在不增加推理代价的情况下获得更好的精度。我们把这些只改变培训策略或只增加培训成本的方法称为“免费包”。对象检测方法经常采用的符合赠品袋定义的方法是数据增强。数据增强的目的是增加输入图像的可变性，使所设计的目标检测模型对不同环境下获取的图像具有更高的鲁棒性。例如，光度畸变和几何畸变是两种常用的数据增强方法，它们对目标检测有明显的好处。在处理光度失真时，我们要调整图像的亮度、对比度、色相、饱和度和噪声。对于几何失真，我们添加了随机缩放、裁剪、翻转和旋转。

上述数据增强方法均为像素级调整，并保留调整区域内所有原始像素信息。此外，一些从事数据增强的研究人员将重点放在模拟物体遮挡问题上。它们在图像分类和目标检测方面取得了较好的效果。例如，random erase[100]和CutOut[11]可以随机选择图像中的矩形区域，随机填充零值或补零值。捉迷藏[69]和网格蒙版[6]则是随机或均匀地选择图像中的多个矩形区域，并将其全部替换为零。如果将类似的概念应用于特征图，则有DropOut[71]、DropConnect[80]和DropBlock[16]方法。此外，也有研究者提出了利用多幅图像一起进行数据增强的方法。例如，MixUp[92]使用两幅图像用不同的系数比相乘叠加，然后用这些叠加比调整标签。CutMix[91]是将裁剪后的图像覆盖到其他图像的矩形区域，并根据混合区域的大小调整标签。除了上述方法外，我们还使用了风格转移GAN[15]进行数据增强，这种使用可以有效地减少CNN学习到的纹理偏差。

与上面提出的各种方法不同，其他一些免费的方法致力于解决数据集中的语义分布可能有偏差的问题。在处理语义分布偏差问题时，一个非常重要的问题是不同类之间存在数据不平衡的问题，这个问题通常通过两阶段对象检测器中的硬反例挖掘[72]或在线硬例挖掘[67]来解决。但实例挖掘方法并不适用对于单级目标检测器，因为这类检测器属于稠密预测结构。因此Linet al.[45]提出了focal loss来处理不同类之间存在的数据不平衡问题。另一个非常重要的问题是很难用一热硬表示法来表达不同类别之间关联程度的关系。在执行标记时，经常使用这种表示模式。文献[73]提出的标签平滑是将硬标签转换为软标签进行训练，使模型具有更强的鲁棒性。为了获得更好的软标签，Islam等[33]引入了知识蒸馏的概念来设计标签细化网络。

但是，直接估计BBox每个点的坐标值，就是把这些点当作自变量，而实际上并没有考虑到对象本身的完整性。为了使这一问题得到更好的处理，最近有研究者提出IoU loss[90]，将预测的BBox面积和ground truth BBox面积的覆盖率考虑在内。IoU丢失计算过程通过执行IoU与ground truth来触发BBox的四个坐标点的计算，然后将生成的结果连接成一个完整的代码。因为IoU是尺度不变表示，它可以解决传统方法计算{x, y, w,h}的l1或l2损失时，损失会随着尺度的增加而增加的问题。最近，一些研究人员不断改进借条损失。例如，GIoU损失[65]是除了覆盖区域之外，还包括对象的形状和方向。他们提出找到同时覆盖预测的BBox和地面真实值BBox的最小面积BBox，用这个BBox作为分母，代替原来在IoU loss中使用的分母。DIoU损失[99]在此基础上考虑了物体中心的距离，CIoU损失[99]则同时考虑了重叠面积、中心点之间的距离和长宽比。CIoU能在BBox回归问题上取得较好的收敛速度和精度。

2.3. Bag of specials

对于那些插件模块和后处理方法，它们只增加了少量的推理成本，却能显著提高目标检测的准确率，我们称之为“特殊包”。一般来说，这些插件模块是为了增强模型中的某些属性，如放大接受场、引入注意机制或增强特征集成能力等，后处理是筛选模型预测结果的一种方法。

常用的增强接收野的模块有SPP[25]、ASPP[5]和RFB[47]。SPP模块起源于SPM (Spatial Pyramid Matching, SPM) [39]， SPM的原始方法是将特征映射分割成若干个d × d相等的块，其中d可以是{1,2,3，…}，从而形成空间金字塔，进而提取词袋特征。SPP将SPM集成到CNN中，使用max-pooling操作代替bag-of-word操作。由于He等人[25]提出的SPP模块输出的是一维特征向量，因此无法应用于全卷积网络(Fully Convolutional Network, FCN)。因此，在YOLOv3[63]的设计中，Redmon和Farhadi将SPP模块改进为最大池化输出的级联，其内核大小为k × k，其中k = {1,5,9,13}， stride = 1。在这种设计下，一个较大的k × k maxpooling可以有效地增加主干特征的接收域。YOLOv3-608在添加了SPP模块的改进版本后，在MS COCO对象检测任务上对AP50进行了2.7%的升级，但增加了0.5%的计算量。ASPP[5]模块与改进后的SPP模块在运算上的差异主要来自于原来的k ×k内核大小，stride的max-pooling等于1到几个3 × 3内核大小，扩张的比率等于k，扩张的卷积运算stride等于1。RFB模块是利用k ×k内核的几个扩张卷积，扩张比等于k, stride等于1，获得比ASPP更全面的空间覆盖。RFB[47]只需要7%的额外推理时间，就可以将MS COCO上SSD的AP50提高5.7%。

通常用于物体检测的注意模块主要分为通道注意和点注意，这两种注意模型的代表分别是挤压-激发(squeez -and-激励，SE)[29]和空间注意模块(Spatial attention module, SAM)[85]。虽然SE模块可以在ImageNet图像分类任务中提高ResNet50 1% top-1准确率的代价仅为增加2%的计算工作量，但在GPU上通常会增加10%左右的推断时间，因此它更适合用于移动设备。而SAM只需要额外支付0.1%的计算费用，就可以在ImageNet图像分类任务中提高ResNet50-SE 0.5% top-1的精度。最重要的是，它完全不影响GPU上的推断速度。

在特性集成方面，早期的实践是使用跳过连接[51]或超列[22]将低级物理特性集成到高级语义特性。随着FPN等多尺度预测方法的流行，许多集成不同特征金字塔的轻量级模块被提出。这类模块包括SFAM[98]、ASFF[48]和BiFPN[77]。SFAM的主要思想是利用SE模块对多尺度级联特征图进行信道级重加权。ASFF采用softmax作为点级重加权，然后加入不同比例的特征图。该算法利用多输入加权残差连接进行尺度级重加权，然后加入不同尺度的特征图。

在深度学习的研究中，一些人把研究的重点放在寻找好的激活函数上。一个好的激活函数可以使梯度更有效地传播，同时也不会造成太多额外的计算成本。2010年，Nair和Hinton[56]提出了ReLU，实质上解决了传统tanh和sigmoid激活函数中经常遇到的梯度消失问题。随后，提出了LReLU[54]、PReLU[24]、ReLU6[28]、Scaled Exponential Linear Unit (SELU)[35]、Swish[59]、hard-Swish[27]、Mish[55]等用于求解梯度消失问题。LReLU和PReLU的主要目的是解决当输出小于零时，ReLU的梯度为零的问题。而ReLU6和hard-Swish则是专门为量化网络设计的。为了实现神经网络的自归一化，提出了满足目标的SELU激活函数。值得注意的是，Swish和Mish都是连续可微的激活函数。 

在基于深度学习的对象检测中，常用的后处理方法是NMS，它可以用来过滤那些对同一对象预测不好的bbox，只保留响应较高的候选bbox。NMS试图改进的方式与优化目标函数的方法是一致的。NMS原来提出的方法没有考虑上下文信息，因此Girshick等[19]在R-CNN中加入了分类置信度作为参考，按照置信度的顺序，贪婪NMS按照高分到低分的顺序进行。对于软网管[1]，它考虑了在具有IoU评分的贪婪网管中，由于对象的遮挡可能导致信任评分下降的问题。DIoU NMS[99]开发者的思路是在软网管的基础上，在BBox筛选过程中加入中心点距离的信息。值得一提的是，由于上述的后处理方法都没有直接参考所捕捉到的图像特征，因此在后续的无锚方法开发中就不再需要后处理。

3. Methodology

它的基本目标是提高神经网络在生产系统中的运行速度和优化并行计算，而不是低计算量理论指标(BFLOP)。我们提出了两种实时神经网络的选择:

3.1. Selection of architecture

我们的目标是找到输入网络分辨率、卷积层数、参数数(滤波器size2 * filters * channel / groups)和输出层数(滤波器)之间的最佳平衡。例如，我们的大量研究表明，在ILSVRC2012 (ImageNet)数据集[10]上，CSPResNext50在对象分类方面比CSPDarknet53要好得多。然而，与CSPResNext50相比，CSPDarknet53在MS COCO数据集[46]上的探测性能更好

下一个目标是选择额外的块来增加接收野，以及从不同的骨干级别为不同的检测器级别(如FPN, PAN, ASFF, BiFPN)选择参数聚合的最佳方法。

对于分类最优的参考模型对于检测器并不总是最优的。与分类器相比，检测器要求如下:

假设我们可以选择接受域大小更大的模型(卷积层数为3 × 3)和参数数量更大的模型作为骨干。表1显示了CSPResNeXt50、CSPDarknet53和effentnet B3的信息。CSPResNext50只包含16个卷积层3 × 3，一个425 × 425的接收野和20.6 M参数，而CSPDarknet53包含29个卷积层3 × 3，一个725 × 725的接收野和27.6 M参数。这一理论论证，以及我们的大量实验表明，CSPDarknet53神经网络是两者作为检测器骨干的最佳模型。 

不同大小感受野的影响总结如下:

 我们在CSPDarknet53上添加了SPP块，因为它显著地增加了接收域，分离出了最重要的上下文特征，并且几乎没有导致网络运行速度的降低。我们使用PANet作为从不同骨干层对不同探测器层进行参数聚合的方法，而不是YOLOv3中使用的FPN

最后，我们选择CSPDarknet53骨干、SPP附加模块、PANet路径聚合颈和YOLOv3(基于锚的)头部作为YOLOv4的架构。

未来我们计划大幅扩充探测器的Bag of Freebies (BoF)内容，理论上可以解决一些问题，提高探测器的精度，并以实验的方式依次检查各个特征的影响

我们不使用跨gpu批处理规范化(CGBN或SyncBN)或昂贵的专用设备。这允许任何人在传统图形处理器(如GTX 1080Ti或RTX 2080Ti)上再现我们最先进的结果。

3.2. Selection of BoF and BoS

为了提高目标检测训练，一个CNN通常使用以下方法:

对于训练激活函数，由于PReLU和SELU较难训练，而ReLU6是专门针对量化网络设计的，因此我们将上述激活函数从候选列表中删除。在正则化方法方面，DropBlock的开发者们已经将他们的方法与其他方法进行了详细的比较，他们的正则化方法取得了很大的成功。因此，我们毫不犹豫地选择了DropBlock作为我们的正则化方法。在归一化方法的选择上，由于我们关注的是一种只使用一个GPU的训练策略，所以没有考虑syncBN。 

 3.3. Additional improvements

为了使所设计的检测器更适合在单GPU上训练，我们进行了以下额外的设计和改进:

·我们引入了一种新的数据增强马赛克方法和自对抗训练(SAT)

•我们在应用遗传算法的同时选择最优超参数]

•我们修改了一些现有的方法，使我们的设计适合高效的训练和检测-改进的SAM，改进的PAN，和交叉小批归一化(CmBN)

因此，混合，而CutMix只混合2个输入图像。这允许检测正常上下文之外的对象。此外，批处理归一化对每层4张不同的图像进行激活统计。这大大减少了对大型小型批处理大小的需求。

自对抗训练(SAT)也代表了一种新的数据增强技术，在两个向前向后阶段操作。在第一阶段，神经网络改变原始图像而不是网络权值。通过这种方式，神经网络对自己进行对抗性攻击，改变原始图像，制造出图像上没有想要的物体的假象。在第二阶段，训练神经网络以正常的方式检测修改后的图像上的目标。

CmBN表示CBN修改后的版本，如图4所示，定义为Cross mini-Batch Normalization (CmBN)。它只在单个批内的小批之间收集统计信息。

我们将SAM从空间注意修改为点注意，将PAN的快捷连接改为拼接，分别如图5和图6所示。

3.4. YOLOv4

在本节中，我们将详细介绍YOLOv4的细节。

 YOLO v4用途:

主干的免费包(BoF): CutMix和马赛克数据增强，DropBlock正则化，类标签平滑•特殊包(BoS): Mish激活，跨阶段部分连接(CSP)，多输入加权剩余连接(MiWRC)•检测器的免费包(BoF):ciou -丢失，CmBN, DropBlock正则化，马赛克数据增强，自对抗训练，消除网格敏感性，对单一地面真理使用多个锚点，余cos退火调度程序[52]，最优超参数，随机训练形状•检测器的特殊包(BoS): Mish激活，spp块，sam块，PAN路径聚合块，DIoU-NMS。

4. Experiments

我们在ImageNet (ILSVRC 2012 val)数据集上测试了不同训练改进技术对分类器精度的影响，然后在MS COCO (test-dev 2017)数据集上测试了检测器的精度。

4.1. Experimental setup

在ImageNet图像分类实验中，默认的超参数如下:训练步长为8,000,000;批量大小和小批量大小分别为128和32;采用多项式衰减学习率调度策略，初始学习率为0.1;热身步骤为1000步;动量衰减和权重衰减分别设为0.9和0.005。我们所有的BoS实验都使用相同的超参数作为默认设置，在BoF实验中，我们额外增加了50%的训练步骤。在BoF实验中，我们验证了MixUp、CutMix、Mosaic、Bluring数据增强和标签平滑正则化方法。在BoS实验中，我们比较了LReLU、Swish和Mish激活函数的效果。所有实验都使用1080 Ti或2080 Ti GPU进行训练。

在MS COCO对象检测实验中，默认的超参数如下:训练步骤为500,500;采用阶衰减学习率调度策略，初始学习率为0.01，在40万步和45万步时分别乘以0.1;动量衰减和权重衰减分别设为0.9和0.0005。所有架构都使用单个GPU执行64批次的多尺度训练，而迷你批大小为8或4则取决于架构和GPU内存的限制。除采用遗传算法进行超参数搜索实验外，其余实验均采用默认设置。遗传算法采用YOLOv3-SPP带GIoU损耗训练，搜索300个epoch的最小值5k集。遗传算法实验采用搜索学习率0.00261、动量0.949、IoU阈值赋值ground truth 0.213、损失归一化器0.07。我们已经验证了大量的BoF，包括网格灵敏度消除、马赛克数据增强、IoU阈值、遗传算法、类标签平滑、跨小批归一化、自对抗训练、余弦退火调度、动态小批大小、DropBlock、优化锚、不同类型的IoU损失。我们还对各种BoS进行了实验，包括Mish、SPP、SAM、RFB、BiFPN和Gaussian YOLO[8]。在所有的实验中，我们只使用一个GPU进行训练，所以没有使用syncBN等优化多个GPU的技术。

4.2. Influence of different features on Classifier training

首先，我们研究不同特征对分类器训练的影响;具体包括类标签平滑的影响，不同数据增强技术、双边模糊、MixUp、CutMix和Mosaic的影响，如图7所示，以及不同激活的影响，如Leaky-ReLU(默认)、Swish和Mish。

在我们的实验中，如表2所示，通过引入诸如:CutMix和Mosaic数据增强、类标签平滑和Mish激活等特征来提高分类器的准确性。因此，我们的BoFbackbone(免费包)分类器训练包括以下:CutMix和Mosaic数据增强和类标签平滑。此外，我们使用Mish激活作为补充选项，如表2和表3所示。表2:BoF和Mish对CSPResNeXt-50分类精度的影响。 

 

4.3. Influence of different features on Detector training

进一步研究了不同Bag-ofFreebies (BoF-detector)对检测器训练精度的影响，如表4所示。我们通过研究在不影响FPS的情况下提高探测器精度的不同特征，显著扩展了BoF列表:

进一步研究了PAN、RFB、SAM、Gaussian YOLO (G)、ASFF等不同的bag - special (BoS-detector)对检测器训练精度的影响，如表5所示。在我们的实验中，使用SPP、PAN和SAM的探测器性能最好。

 4.4. Influence of different backbones and pretrained weightings on Detector training

 我们进一步研究了不同骨干模型对探测器精度的影响，如表6所示。我们注意到，具有最佳分类精度的模型在探测器精度方面并不总是最好的。

 首先，虽然用不同特征训练的CSPResNeXt50模型的分类精度高于CSPDarknet53模型，但CSPDarknet53模型在目标检测方面的精度更高。

其次，使用BoF和Mish进行CSPResNeXt50分类器训练提高了分类精度，但进一步将这些预先训练的权重用于检测器训练会降低检测器精度。然而，在CSPDarknet53分类器训练中使用BoF和Mish可以提高分类器和使用这种分类器预先训练权重的检测器的准确性。最终的结果是骨干CSPDarknet53比CSPResNeXt50更适合用于探测器。

我们观察到，由于各种改进，CSPDarknet53模型显示出更大的能力来提高探测器的精度

 4.5. Influence of different mini-batch size on Detector training

最后，我们对不同小批量训练的模型得到的结果进行分析，结果如表7所示。从表7的结果中我们发现，加入BoF和BoS训练策略后，小批量大小对检测器的性能几乎没有影响。这个结果表明，引入BoF和BoS后，不再需要使用昂贵的gpu进行培训。换句话说，任何人都可以只使用传统的GPU来训练优秀的探测器。

 

 图8:不同物体探测器的速度和精度的比较。(有些文章只描述了一种gpu的FPS: Maxwell/Pascal/Volta)

5. Results

图8将得到的结果与其他最先进的物体检测器进行了比较。我们的YOLOv4位于帕累托最优曲线上，在速度和精度方面都优于最快和最精确的探测器。

由于不同的方法使用不同架构的gpu进行推断时间验证，我们在常用的Maxwell、Pascal和Volta架构的gpu上进行YOLOv4的操作，并与其他最新的方法进行比较。表8列出了使用Maxwell GPU的帧率比较结果，它可以是GTX Titan X (Maxwell)或Tesla M40 GPU。表9列出了使用Pascal GPU的帧率比较结果，它可以是Titan X (Pascal)， Titan Xp, GTX 1080 Ti，特斯拉P100 GPU。表10列出了使用Volta GPU的帧率对比结果，可以是Titan Volta或者Tesla V100 GPU。

6. Conclusions

我们提供了一个最先进的探测器，更快(FPS)和更准确(MS COCO AP50…95和AP50)比所有可用的替代探测器。所描述的探测器可以在具有8-16 gb vram的传统GPU上训练和使用，这使得其广泛的应用成为可能。最初的单级锚定探测器的概念已经证明了它的可行性。我们验证了大量的特征，并选择这些特征来使用，以提高分类器和检测器的准确性。这些特性可以作为未来研究和开发的最佳实践。

7. Acknowledgements

作者希望感谢Glenn Jocher的马赛克数据增强的想法，通过使用遗传算法选择超参数和解决网格敏感性问题。

GitHub - ultralytics/yolov3: YOLOv3 in PyTorch > ONNX > CoreML > TFLiteYOLOv3 in PyTorch > ONNX > CoreML > TFLite. Contribute to ultralytics/yolov3 development by creating an account on GitHub.https://github.com/ultralytics/yolov3