YOLO系列中的Backbone结构主要作为网络的一个核心特征提取器,随着时代的变迁不断发展。
某种程度上,YOLO系列的各个Backbone代表着当时的高价值模型与AI行业的发展记忆,计算机视觉江湖上,曾出现的那些“算法兵器”,它们确实来过。
Backbone与输入侧一样,是通用性非常强的一个部分,具备很强的向目标检测其他模型,图像分类,图像分割,目标跟踪等方向迁移应用的价值。
从业务向,竞赛向,研究向等角度观察,Backbone结构也能在这些方面比较好的融入,从容。
YOLOv1的Backbone有着朴素的逻辑,主要受启发于GoogLeNet的结构。
YOLOv1的backbone结构中使用了Leaky ReLu激活函数,但并没有引入BN层。
【Rocky的延伸思考】
YOLOv2的Backbone在YOLOv1的基础上设计了Darknet-19网络,并引入了BN层优化模型整体性能。
Darknet-19网络包含19个卷积层和5个max pooling层,整体计算量比YOLOv1中采用的GooleNet更少,最后用average pooling层代替全连接层进行Inference。
在YOLOv2的Backbone中加入BN层之后,使得mAP提升了2%,而BN层也成为了YOLO后续系列的标配。
【Rocky的延伸思考】
YOLOv3的Backbone在YOLOv2的基础上设计了Darknet-53结构。
YOLOv3将YOLOv2的Darknet-19加深了网络层数,并引入了ResNet的残差思想,也正是残差思想让YOLOv3将Backbone深度大幅扩展至Darknet-53。
YOLOv3优化了下采样方式(无池化层结构),采用卷积层来实现,而YOLOv2中采用池化层实现。
【Rocky的延伸思考】
YOLOv4的Backbone在YOLOv3的基础上,受CSPNet网络结构启发,将多个CSP子模块进行组合设计成为CSPDarknet53,并且使用了Mish激活函数。
CSPDarknet53总共有72层卷积层,遵循YOLO系列一贯的风格,这些卷积层都是3*3大小,步长为2的设置,能起到特征提取与逐步下采样的作用。
CSP子模块主要解决了由于梯度信息重复导致的计算量庞大的问题。
CSP模块不仅仅是一个子结构,更是一个处理思想,可以和ResNet、ResNext、DenseNet、EfficientNet等网络结合使用。
上图左侧是DenseNet的结构,它进行反向传播时会有大量的重复计算,而右侧的图是CSP模块结构,它将基础层的特征图分成两部分,一部分直接与该阶段的末尾concat相连,另一部分经过局部Dense模块,从而既能保留Dense模块的特征复用,又能截断梯度流,避免大量的重复计算,同时可以保证准确率。
总的来说,CSP模块解决了三个方面的问题:
CSP模块逻辑也可以迁移到其他Backbone网络,例如优化ResNet以提升性能:
CSPNet论文地址:CSPNet
YOLOv4论文中通过消融实验发现使用Mish激活函数会提升性能,于是在Backbone中将其使用。(注:除Backbone以外的网络结构依旧使用LeakyReLU激活函数)
Mish激活函数的示意图如下,其有三个主要特征:
Mish激活函数的表达式:
Mish激活函数论文地址:Mish激活函数
【Rocky的延伸思考】
YOLOv5的Backbone同样使用了YOLOv4中使用的CSP思想。
值得一提的是,YOLOv5最初版本中会存在Focus结构,在YOLOv5第六版开始后,就舍弃了这个结构改用6*6,s=2的常规卷积,其产生的参数更少,效果更好。
【Rocky的延伸思考】
YOLOx的Backbone沿用了YOLOv3的Backbone结构,故在此不在展开介绍。
YOLOv6的Backbone侧在YOLOv5的基础上,设计了EfficientRep Backbone结构。
和YOLOv5的Backbone相比,YOLOv6的Backbone不但能够高效利用硬件算力,而且还具有较强的表征能力。
YOLOv6的Backbone中将普通卷积都替换成了RepConv结构。同时,在RepConv基础上设计了RepBlock结构,其中RepBlock中的第一个RepConv会做channel维度的变换和对齐。
另外,YOLOv6将SPPF优化设计为更加高效的SimSPPF,增加特征重用的效率。
【Rocky的延伸思考】
YOLOv7的Backbone侧在YOLOv5的基础上,设计了E-ELAN和MPConv结构。
E-ELAN结构已经在本系列的Neck篇中详细介绍,本文就不再展开。MPConv结构由常规卷积与maxpool双路径组成,增加模型对特征的提取融合能力。不管是E-ELAN还是MPConv结构,都将特征重用逻辑演绎到了比较高的水准,让人眼前一亮。
【Rocky的延伸思考】