关于YOLOv7的分析

YOLOv6刚刚推出不久，YOLOv7就带着论文和源码来了，并且获得了YOLO社区各位大佬的认可，在速度和精度上的提升很大。和YOLO系列类似，YOLOv7也分别对边缘GPU、常规GPU和云端GPU做了几种不同深度和宽度的模型，论文的最后也与YOLOv6进行了比较，也是有较大的提升，但性能曲线仍然需要进行测试与更新完善。同样的，这篇文章我也将从网络结构和tricks的角度与YOLO系列进行对比分析，鉴于目前论文与源码有较大出入，此处我选择使用源码为主要的参考对象。此篇文章是在7月初编写，可能会与现有的源码有所出入，如在月末增加了关于head部分阴性参数的融合。

论文: https://arxiv.org/abs/2207.02696

源码: https://github.com/WongKinYiu/yolov7

backbone & neck

在主干网络和neck上最大的区别是使用了E-ELAN代替原来的CSPDarknet53和设计了DownC代替普通卷积进行下采样，在结构方面与YOLOv5相差并不算大，以及参考CSP结构重新设计了SPP模块，最后也是输出三种尺寸的特征图和使用FPN-PAN进行特征融合与提取。在YOLOv7的模型中并没有使用论文中标准的E-ELAN结构，而是设计了简化的ELAN，但是在YOLOv7-E6E的yamI文件中有单独算子组成的结构配置。

在设计高效网络时，作者认为不仅可以从参数量、计算量和计算密度考虑，还可以分析输入和输出的信道比、架构的分支数和元素级操作对网络推理速度的影响。因此，作者提出了基于ELAN网络扩展的E-ELAN，采用了expand、shuffle、merge cardinality结构，使得在不破坏原始梯度路径的前提下，提高网络的学习能力。论文的思路是使用分组卷积来扩展计算模块的通道和基数，将相同的组参数和通道参数用于计算每一层中的所有模块(expand)；然后将每个模块计算出的特征图根据之前设定的分组数打乱成X组，再将它们连在一起(shuffle)；最后，添加X组特征将每个模块融合在一起(merge)。以上内容在目前的源码中还未更新，甚至ELAN的论文：Designing network design strategies[1]也尚未发表，因此仍然需要持续的关注。

DownC模块使用了三种最基本的结构，包括1x1和3×3两种卷积核和Maxpool，源码中作者将Maxpool分为两种，一种是k=2，s=2的MP，另一种是k=3，p=1，s=1的SP，而DownC使用的是MP方案。同样参考了多支路的方案，一条路使用MP进行特征图尺度的缩放，另一条使用s=2的3×3卷积进行尺寸缩放，最后在通道方向上进行concat合并。

利用金字塔池化操作与CSP结构设计的SPPCSP来代替原有的SPP也是为了创造多支路的模块，由1×1和3×3卷积核以及SPP模块组成，CSP结构[2]的加入可以实现更丰富的梯度组合，同时减少计算量。此处的Maxpool为SP池化方案，分别取k = 5, 9,13，并令P = k // 2实现金字塔池化操作。

head

在head部分，YOLOv7加入了RepConv,RepConv在训练时有3个支路分别为1×1、3×3卷积和BN，而在模型部署时可以将3个支路的卷积和BN进行等效融合，形成VGG结构的3×3卷积，从而加速模型推理的速度。论文中也详细研究了RepConv在多支路网络中的效果，发现RepConv自带的多支路会削弱如CSP和残差网络的特征提取能力，因此选择了只有1×1、3x3卷积两支路的RepConvN结构在多支路网络中使用。RepConvN在源码中有体现，但在现有的YOLOv7网络中，并没有运用到多支路的结构。

此外，在head部分还引入了深度监督（Deep supervision）[3]和标签分类器（label assigner）等tricks，虽然添加了很多可训练的内容，但不会过多的增加网络的计算量和参数量，因此作者称之为Trainable bag-of-freebies。论文中还提到了YOLOR[4]中隐式知识结合卷积特征映射和乘法方式；并使用了EMA模型[5]作为最终的推理模型，利用多种tricks结合来提升推理速度和精度。

深度监督即在网络中添加额外的辅助头（auxiliary head），并以浅层网络权重的辅助损失为指导，用于辅助网络的训练；作者也将最终输出结果的检测头称为引导头（lead head)。不过YOLOv7中只使用了与YOLOR相似的IDetect作为检测头，作者将auxiliary head和lead head集成到了IAUXDetect中，在YOLOv7-E6E等较大的模型中有所展现。作者还认为，可以通过较浅的辅助头直接学习引导头已经学习到的东西，使得引导头可以更加专注于尚未学习到的残余信息。

标签分类器首先使用引导头的预测作为指导，生成从粗到细的层次标签，分别用于辅助头和引导头的学习。设计软标签的好处时使得引导头有较强的学习能力，且软标签更能代表源数据与目标之间的分布差异和相关性。此处，作者生成了两种标签，粗标签和细标签，其中细标签与引导头在标签分类器上生成的软标签相同，而粗标签是通过降低正样本分配的约束，允许更多的网络作为正目标。

总结

YOLOv7的作者是CSPNet、YOLOR等论文的作者之一，因此YOLOv7的文章包括代码都保留了他们先前的工作经验，尤其是在设计多支路的特征提取层和YOLOR的隐式知识检测头方面。源码中提供了CSPNet中提到的3种不同的多支路排列方式A、B、C，且对于RepConv也做出了相当多的实验和改进；也对YOLOR的隐式知识检测头进行了扩展，有I-Detect、I-AUXDetect和I-Bin三种。至于为什么RepConv删去identity支路在多支路模块中会有更好的表现结果，以及ELAN网络的设计思路和主要优势等问题，仍然需要论文 Designing network design strategies 发表后做出解释。

此外，源码还需要等待更新，不同模型和数据集上的实验也需要社区的人跟进，目前与论文仍有较大的出入，如深度监督和完整的E-ELAN并没有应用到边缘GPU的模型中，现在的网络设计训练速度较慢等问题。鉴于YOLOv7可以连接多种任务头进行训练和部署，也期待其在如分类、分割、3D姿态估计等方面的表现。

Reference

1.Designing network design strategies
2.CSPNet: A New Backbone that can Enhance Learning Capability of CNN
3.Deeply-Supervised Nets
4.You Only Learn One Representation: Unified Network for Multiple Tasks
5.Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results