新鲜出炉的YOLOV4,集大成者。先看看效果对比:
由图可以看到,YOLOV4
在准确度和效率上都有大幅提升,与Efficientdet
相比,在相同的准确率下速度快两倍,相比YOLOv3
AP和FPS有10%
和12%
的提升。
本文的主要贡献如下:
Bag-of-Freebies
和Bag-of-Specials
方法的影响。input,backbone,neck
和head
。具体如下图所示:
现代检测器通常由两部分组成,一个是在ImageNet上预先训练的骨干网络,另一个是用来预测对象的类别和边界框的头部。对于在GPU平台上运行的那些检测器,其主干可能是VGG [68],ResNet [26],ResNeXt [86]或DenseNet [30]。 对于那些以CPU平台形式运行的检测器,其主干可以为SqueezeNet [31],MobileNet [28、66、27、74]或ShuffleNet [97、53]。至于头部,通常分为两类,即一阶段目标检测器和二阶段目标检测器。最具有代表性的二阶段目标检测器是R-CNN [19]系列,包括 fast R-CNN [18], faster R-CNN [18],R-FCN [9]和Libra R-CNN [ 58]。 也可以使两阶段物体检测器成为无锚物体检测器,例如RepPoints [87]。对于一级目标检测器,最具代表性的模型是YOLO [61、62、63],SSD [50]和RetinaNet [45]。近年来,开发了无锚的一级物体检测器。这种检测器是CenterNet [13],CornerNet [37、38],FCOS [78]等。近年来开发的对象检测器通常在骨架和头部之间插入一些层,这些层通常用于收集特征图。从不同的阶段。我们可以称其为对象检测器的颈部。通常,颈部由几个自下而上的路径和几个自上而下的路径组成。配备此机制的网络包括特征金字塔(Feature Pyramid Network(FPN))[44], Path Aggregation Network (PAN)[49],BiFPN [77]和NAS-FPN [17]。除了上述模型之外,一些研究人员还着重于直接构建用于目标检测的新主干(DetNet [43],DetNAS [7])或新的整个模型(SpineNet [12],HitDe tector [20])。
综上所述,普通的物体检测器由以下几部分组成:
VGG16 [68],ResNet-50 [26],SpineNet [12],EfficientNet-B0 / B7 [75],CSPResNeXt50 [81],CSPDarknet53 [81]
SPP [25], ASPP [5], RFB[47], SAM [85]
FPN [44], PAN [49],NAS-FPN [17], Fully-connected FPN, BiFPN[77], ASFF [48], SFAM [98]
RPN [64], SSD [50], YOLO [61], RetinaNet[45] (anchor based)
CornerNet [37], CenterNet [13], MatrixNet[60], FCOS [78] (anchor free)
Faster R-CNN [64], R-FCN [9], Mask RCNN [23] (anchor based)
RepPoints [87] (anchor free)
通常,常规的物体检测器是离线训练的。 因此,研究人员总是喜欢利用这一优势,并开发出更好的训练方法,以使物体检测器获得更好的精度而又不增加推理成本。我们称这些方法为“免费赠品(bag of freebies)”,仅改变培训策略或仅增加训练成本。数据增强是对象检测方法经常采用的并符合免费赠品 bag of freebies 袋定义的数据。 数据扩充的目的是增加输入图像的可变性,从而使设计的物体检测模型对从不同环境获得的图像具有更高的鲁棒性。例如,光度畸变和几何畸变是两种常用的数据增强方法,它们无疑有益于物体检测任务。 在处理光度失真时,我们会调整图像的亮度,对比度,色相,饱和度和噪点。 对于几何变形,我们添加了随机缩放,裁剪,翻转和旋转。
上面提到的数据扩充方法都是逐像素调整,并且保留了调整区域中的所有原始像素信息。 此外,一些从事数据增强的研究人员将重点放在模拟对象遮挡问题上。他们在图像分类和目标检测中取得了良好的效果。 例如,随机擦除[100]和CutOut [11]可以随机选择图像中的矩形区域,并填充零的随机或互补值。 至于hide-and-seek[69] 和 grid mask[6],他们随机或均匀地选择图像中的多个矩形区域,并将它们替换为全零。如果类似的概念应用于特征图,则有DropOut [71],DropConnect [80]和DropBlock [16]方法。另外,一些研究人员提出了使用多个图像一起执行数据增强的方法。例如,MixUp [92]使用两个图像以不同的系数比率进行乘法和叠加,然后使用这些叠加比率来调整标签。对于CutMix [91],它是将裁切后的图像覆盖到其他图像的矩形区域,并根据混合区域的大小调整标签。除了上述方法之外,style transfer GAN [15]还用于数据扩充,这种用法可以有效地减少CNN所学习的纹理偏差。
与上面提出的各种方法不同,其他一些免费赠品方法专门用于解决数据集中语义分布可能存在偏差的问题。 在处理语义分布偏差问题时,一个非常重要的问题是,不同类之间存在数据不平衡的问题,而该问题通常可以通过以下方式来解决:hard negative example mining [72]或 online hard example mining[67] 两级物体检测器。但是示例挖掘方法不适用于一级目标检测器,因为这种检测器属于密集预测体系结构。 因此Lin 等. [45]提出了focal loss,以解决各个类别之间存在的数据不平衡问题。另一个非常重要的问题是,很难用 one-hot hard representation来表达不同类别之间的关联度的关系。执行标记时经常使用此表示方案。[73]中提出的标签平滑是将硬标签转换为软标签以进行训练,这可以使模型更健壮。 为了获得更好的软标签,Islam等 [33]介绍了知识蒸馏的概念来设计标签优化网络。
最后bag of freebies是边界框(BBox)回归的目标函数。传统的物体检测器通常使用均方误差(MSE)直接对BBox的中心点坐标以及高度和宽度执行回归。即{xcenter,ycenter,w,h}或左上角和右下角点,即{xtop_left,ytop_left xbottom_right,ybottom_right }。对于anchor-based的方法,将估计相应的偏移量,例如{xcenter偏移量,ycenter偏移量,woffset,hoffset}和{xtop左偏移量,ytop左偏移量,xbottom右偏移量,ybottom右偏移量}。但是,直接估计BBox的每个点的坐标值是将这些点视为独立变量,但实际上并未考虑对象本身的完整性。为了使这个问题得到更好的处理,一些研究者最近提出了IoU损失[90],该方法考虑了预测的BBox区域和真实BBox区域的覆盖范围。IoU损失计算过程将通过使用基本事实执行IoU,然后将生成的结果连接到整个代码中,触发BBox的四个坐标点的计算,因为IoU是尺度不变表示,所以可以解决传统方法计算{x,y,w,h}的l1或l2损失时,损失会随着尺度的增加而增加的问题。最近,一些研究人员继续改善IoU损失。 例如,GioU损失[65]除了覆盖区域外还包括对象的形状和方向。 他们建议找到可以同时覆盖预测的BBox和真实BBox的最小面积BBox,并使用该BBox作为分母来代替最初用于IoU损失的分母。 至于DIoU损失[99],它还考虑了对象中心的距离,而CIoU损失[99]同时考虑了重叠区域,中心点之间的距离和纵横比。 CIoU可以在BBox回归问题上实现更好的收敛速度和准确性。
对于那些仅增加少量推理成本但可以显着提高对象检测准确性的插件模块和后处理方法,我们将其称为“特价袋 (bag of specials)"。一般而言,这些插件模块用于增强模型中的某些属性,例如扩大感受野,引入注意力机制或增强特征集成能力等,而后处理是一种筛选模型预测结果的方法。 可以用来增强感受野的常用模块是SPP [25],ASPP [5]和RFB [47]。SPP模块起源于空间金字塔匹配(SPM)[39],SPM的原始方法是将特征图分割为几个d×d个相等的块,其中d可以为{1,2,3,…},从而形成空间金字塔,然后bag-of-word袋特征。SPP将SPM集成到CNN中,并使用最大池化操作而不是bag-of-word。由于He等人提出的SPP模块[25]将输出一维特征向量,在全卷积网络(FCN)中应用是不可行的。因此,在YOLOv3 [63]的设计中,Redmon和Farhadi将SPP模块改进为内核大小为k×k的最大池化输出的级联,其中k = {1、5、9、13},步幅等于1。在这种设计下,相对较大的k×k最大池化有效地增加了骨干特征的接收场。在添加了改进版本的SPP模块之后,YOLOv3-608在MS COCO对象检测任务上将AP50升级了2.7%,而额外的计算费用为0.5%。ASPP [5]模块和改进的SPP模块之间的操作差异主要在于原始k×k内核大小,步幅的最大池化等于1到几个3×3内核大小,dilated ratio等于k,步幅等于在膨胀卷积运算中为1。RFB模块将使用k×k个核的膨胀卷积,膨胀比等于k,步幅等于1,以获得比ASPP更全面的空间覆盖范围。RFB [47]仅需花费7%的额外推理时间即可将MS COCO上SSD的AP50提高5.7%。
物体检测中经常使用的注意力模块主要分为channel-wise注意和point-wise注意,这两种注意模型的代表是Squeeze-and-Excitation(SE)[29]和Spatial Attention Module (SAM) [85]。尽管SE模块可以将ImageNet图像分类任务中的ResNet50的功能提高1%至top-1精度,但其代价仅是将计算工作量增加2%,但在GPU上通常会增加大约10%的推理时间,因此更适合在移动设备中使用。但是对于SAM,它只需要0.1%的额外费用,就可以在ImageNet图像分类任务上将ResNet50-SE的top-1准确性提高0.5%。最好的是,它根本不影响GPU上的推理速度。
在特征融合方面,早期的实践是使用跳连接[51]或hyper-column [22]将低层物理特征集成到高层语义特征。由于诸如FPN的多尺度预测方法已变得流行,因此提出了许多集成了不同特征金字塔的轻量级模块。这种模块包括SFAM [98],ASFF [48]和BiFPN [77]。SFAM的主要思想是使用SE模块在多尺度级联特征图上执行通道级重加权。对于ASFF,它使用softmax作为逐点级别的权重,然后添加不同比例的特征图。在BiFPN中,提出了多输入加权残差连接以执行按比例的级别重新加权,然后添加不同比例的特征图。
在深度学习的研究中,有些人专注于寻找良好的激活功能。良好的激活函数可以使梯度更有效地传播,同时不会引起过多的额外计算成本。Nair和Hinton [56]在2010年提出ReLU来基本上解决传统的tanh和S形激活函数中经常遇到的梯度消失问题。随后,LReLU [54],PReLU [24],ReLU6 [28],比例指数线性单位(SELU)[35],Swish [59],hard-Swish [27]和Mish [55]等还提出了用于解决梯度消失问题的方法。LReLU和PReLU的主要目的是解决输出小于零时ReLU的梯度为零的问题。至于ReLU6和Hard-Swish,它们是专门为量化网络设计的。为了对神经网络进行自归一化,提出了SELU激活函数来满足这一目标。要注意的一件事是,Swish和Mish都是连续可区分的激活函数。
在基于深度学习的对象检测中通常使用的后处理方法是NMS,它可以用于过滤那些不好地预测同一对象的BBox,并仅保留具有较高响应的候选BBox。NMS尝试改进的方法与优化目标函数的方法一致。NMS提出的原始方法没有考虑上下文信息,因此Girshick等 [19]在R-CNN中添加了分类置信度得分作为参考,并且根据置信度得分的顺序,从高分到低分的顺序执行了贪婪的NMS。对于soft NMS [1],考虑了物体的遮挡可能会导致贪婪的NMS的IoU评分置信度降低的问题。DIoU NMS [99]开发人员的思维方式是在softNMS的基础上将中心点距离的信息添加到BBox筛选过程中。值得一提的是,由于上述后处理方法均未直接涉及捕获的图像特征,因此在随后的anchor-free方法开发中不再需要后处理。
基本目标是在生产系统中使用神经网络以更快的速度运行,并优化并行计算,而不是使用低计算量理论指标(BFLOP)。 我们提供了实时神经网络的两种选择:
我们的目标是在输入网络分辨率,卷积层数,参数数(filter size2 * filters * channel / groups)和层输出(过滤器)的数量之间找到最佳平衡。例如,我们的大量研究表明,就ILSVRC2012(ImageNet)数据集上的对象分类而言,CSPResNext50与CSPDarknet53相比要好得多[10]。但是,相反,在检测MS COCO数据集上的对象方面,CSPDarknet53比CSPResNext50更好。
下一个目标是针对不同的检测器级别从不同的主干级别中选择其他块来增加接收场和参数聚集的最佳方法: FPN,PAN,ASFF,BiFPN。
对于分类最佳的参考模型对于检测器并非总是最佳的。 与分类器相比,检测器需要满足以下条件:
假设地说,我们可以假设应该选择一个具有较大接收场大小(具有大量3×3卷积层)和大量参数的模型作为主干。表1显示了CSPResNeXt50,CSPDarknet53和EfficientNet B3的信息。 CSPResNext50仅包含16个卷积层3×3,一个425×425接收场和20.6 M参数,而CSPDarknet53包含29个卷积层3×3,一个725×725接收场和27.6 M参数。 这种理论上的论证,再加上我们的大量实验,表明CSPDarknet53神经网络是两者的最佳模型,是检测器的骨干。
我们在CSPDarknet53上添加了SPP块,因为它显着增加了接收场,分离出最重要的上下文特征,并且几乎没有降低网络运行速度。 我们使用PANet作为来自不同主干级别,针对不同检测器级别的参数聚合方法,而不是YOLOv3中使用的FPN。
最后,我们选择CSPDarknet53骨干网,SPP附加模块,PANet路径聚合瓶颈和YOLOv3(基于锚)头作为YOLOv4的体系结构。
将来,我们计划大幅扩展用于检测器的Bag of Freebies (BoF)的内容,从理论上讲,它可以解决一些问题并提高检测器的准确性,并以实验方式依次检查每个功能的影响。
我们不使用跨GPU Batch Normalization(CGBN或SyncBN)或昂贵的专用设备。 这使任何人都可以在常规图形处理器上重现我们的最新技术成果,例如 GTX 1080Ti或RTX 2080Ti。
为了改进目标检测训练,CNN通常使用以下方法:
至于训练激活功能,由于PReLU和SELU更难以训练,并且ReLU6是专门为量化网络设计的,因此我们从候选列表中删除了上述激活功能。 在重新量化方法中,发布DropBlock的人们已将其方法与其他方法进行了详细的比较,并且其正则化方法赢得了很多。 因此,我们毫不犹豫地选择了DropBlock作为我们的正则化方法。 至于标准化方法的选择,由于我们专注于仅使用一个GPU的训练策略,因此不考虑syncBN。
为了使设计的检测器更适合在单个GPU上进行训练,我们进行了以下附加设计和改进:
马赛克表示一种新的数据增强方法,该方法混合了4个训练图像。 因此,混合了4个不同的上下文,而CutMix仅混合了2个输入图像。 这样可以检测正常上下文之外的对象。 此外,批量归一化从每层上的4张不同图像计算激活统计信息。 这大大减少了对大批量生产的需求。
**自我顾问训练(SAT)**也代表了一项新的数据增强技术,该技术可在2个向前和向后的阶段进行操作。 在第一阶段,神经网络会更改原始图像,而不是网络权重。 以这种方式,神经网络对其自身执行对抗攻击,从而改变原始图像以产生对图像上没有期望物体的欺骗。 在第二阶段,训练神经网络以正常方式检测此修改图像上的对象。
CmBN表示CBN修改版本,如图4所示,定义为交叉微型批处理规范化(CmBN)。 这仅收集单个批次中的迷你批次之间的统计信息
我们将SAM从空间注意改为点注意,并将PAN的快捷连接替换为串联,分别如图5和图6所示。
本节介绍YOLOv4,YOLOv4由以下几部分组成:
YOLOv4使用:
我们测试了不同训练改进技术对ImageNet(ILSVRC 2012 val)数据集上分类器的准确性的影响,然后测试了MS COCO(test-dev 2017)数据集上检测器的准确性。
在ImageNet图像分类实验中,默认的超级参数如下:训练步骤为8,000,000; 批量大小和最小批量大小分别为128和32; 采用多项式衰减学习率调度策略,初始学习率为0.1。 预热步骤为1000; 动量和权重衰减分别设置为0.9和0.005。 我们所有的BoS实验都使用与默认设置相同的超参数,并且在BoF实验中,我们添加了额外的50%训练步骤。 在BoF实验中,我们验证了MixUp,CutMix,Mosaic,模糊数据增强和标签平滑正则化方法。 在BoS实验中,我们比较了LReLU,Swish和Mish激活功能的效果。 所有实验均使用1080 Ti或2080 Ti GPU进行训练。
在MS COCO对象检测实验中,默认的超参数如下:训练步骤是500,500;采用步阶衰减学习率调度策略,初始学习率为0.01,并分别在400,000步和450,000步处乘以系数0.1。动量和权重衰减分别设置为0.9和0.0005。所有架构都使用单个GPU以64的批量大小执行多尺度训练,而最小批量大小是8或4,这取决于架构和GPU内存限制。除了使用遗传算法进行超参数搜索实验外,所有其他实验均使用默认设置。遗传算法使用YOLOv3-SPP训练GIoU损失,并搜索300个纪元的最小值5k集。对于遗传算法实验,我们采用搜索学习率0.00261,动量0.949,IoU阈值来分配ground truth 0.213,并使用损失归一化器0.07。我们已经验证了大量BoF,包括消除网格敏感度,镶嵌数据增强,IoU阈值,遗传算法,类标签平滑,交叉小批量标准化,自对抗训练,余弦退火调度程序,动态小批量大小,DropBlock,优化锚,不同类型的IoU损失。我们还对各种BoS进行了实验,包括Mish,SPP,SAM,RFB,BiFPN和高斯YOLO [8]。对于所有实验,我们仅使用一个GPU进行训练,因此未使用可优化多个GPU的诸如syncBN之类的技术。
首先,我们研究不同特征对分类器训练的影响; 具体来说,如图7所示,类别标签平滑化的影响,不同数据增强技术的影响,双边模糊,MixUp,CutMix和Mosaic的影响,以及Leaky-ReLU(默认情况下),Swish等不同激活的影响 和Mish。
在我们的实验中,如表2所示,通过引入以下功能提高了分类器的准确性:CutMix和Mosaic数据增强,类标签平滑和Mish激活。 因此,我们用于分类器训练的BoFbackbone(Bag of Freebies)包括以下内容:CutMix和Mosaic数据增强和类标签平滑。 此外,我们将Mish激活用作补充选项,如表2和表3所示。
如表4所示,进一步的研究涉及到不同的Free-of-Freebies(BoF检测器)对检测器训练准确性的影响。我们通过研究在不影响FPS的情况下提高检测器准确性的不同功能来显着扩展BoF列表:
进一步的研究涉及不同的Bagof-Specials(BoS检测器)对检测器训练精度的影响,包括PAN,RFB,SAM,高斯YOLO(G)和ASFF,如表5所示。在我们的实验中,检测器获得了最佳 使用SPP,PAN和SAM时的性能。
进一步,我们研究了不同主干模型对检测器精度的影响,如表6所示。我们注意到,具有最佳分类精度的模型在检测器精度方面并不总是最佳的。
进一步,我们研究了不同主干模型对检测器精度的影响,如表6所示。我们注意到,具有最佳分类精度的模型在检测器精度方面并不总是最佳的。
首先,尽管与CSPDarknet53模型相比,经过不同功能训练的CSPResNeXt50模型的分类准确性更高,但是CSPDarknet53模型在对象检测方面显示出更高的准确性。
其次,将BoF和Mish用于CSPResNeXt50分类器训练可提高其分类精度,但是将这些预训练权重进一步用于检测器训练会降低检测器准确性。但是,对CSPDarknet53分类器训练使用BoF和Mish可以提高分类器和使用该分类器预训练加权的检测器的准确性。
最终结果是,骨干CSPDarknet53比CSPResNeXt50更适合于检测器。我们观察到,由于各种改进,CSPDarknet53模型显示出提高检测器精度的更大能力。
最后,我们分析了使用不同小批量大小训练的模型获得的结果,结果显示在表7中。从表7中显示的结果中,我们发现在添加BoF和BoS训练策略之后,小批量大小 对检测器的性能几乎没有影响。 该结果表明,在引入BoF和BoS之后,不再需要使用昂贵的GPU进行训练。 换句话说,任何人都只能使用常规GPU来训练出色的检测器。
与其他最先进的物体探测器获得的结果的比较如图8所示。我们的YOLOv4位于Pareto最优曲线上,在速度和准确性方面均优于最快,最精确的探测器。
由于不同的方法使用不同架构的GPU进行推理时间验证,因此我们在Maxwell,Pascal和Volta架构的通用GPU上运行YOLOv4,并将它们与其他最新方法进行比较。表8列出了使用Maxwell GPU的帧速率比较结果,它可以是GTX Titan X(Maxwell)或Tesla M40 GPU。
表9列出了使用Pascal GPU的帧速率比较结果,可以是Titan X(Pascal),Titan Xp,GTX 1080 Ti或Tesla P100 GPU。
至于表10,它列出了使用Volta GPU的帧率比较结果,可以是Titan Volta或Tesla V100 GPU。
我们提供最先进的检测器,其速度(FPS)和准确度(MS COCO AP50 … 95和AP50)比所有可用的替代检测器都要高。 所描述的检测器可以训练并在具有8-16 GB-VRAM的常规GPU上使用,这使得它的广泛使用成为可能。 一阶段基于锚的探测器的原始概念已经证明了其可行性。 我们已经验证了大量功能,并选择使用这些功能以提高分类器和检测器的准确性。 这些功能可以用作未来研究和开发的最佳实践。
呼~~~~~~终于结束了
YOLOv4 = CSPDarknet53+SPP+PAN+YOLOv3
YOLOv4没有太大的创新点,就是推一推料,经过大量调参和选择才最终有了YOLOv4。就是这么简单,朴实,无华而效果爆炸!!!
未来工业界估计又是YOLOv4横行天下了。。。