PP-YOLOE论文解读

论文： 《PP-YOLOE: An evolved version of YOLO》
github： https://github.com/PaddlePaddle/PaddleDetection/tree/develop

创新点

PP-YOLOE基于之前PP-YOLOv2进行优化，使用anchor-free算法，更强的backbone及neck。配备了CSPRepResStage、ET-head和动态标签分配算法TAL；
PP-YOLOE-l在COCO数据集上，Tesla V100上达到51.4mAP，78.1FPS；超越PP-YOLOv2及YOLOX；

算法

PP-YOLOE结构如图2，

anchor-free

1、每个像素点设置一个anchor；
2、对三个检测头设置相应的上下边界，使得真值框进入相应特征层（即相应head）；
3、根据bounding box中心位置选择最近像素作为正样本；
4、预测向量（x，y，w，h）用于回归目标；
这种更改相对于PP-YOLOv2损失0.3AP，但是FPS从68.9提升到69.8；

backbone and neck

残差连接一方面缓解梯度消失，另一方面也是一种模型聚合方法；
dense connection聚合具有不同感受野的中间特征；
CSPNet使用跨阶段dense connection降低计算量，且没有精度损失；
作者结合residual connections和dense connections提出RepResBlock，用于backbone和neck；
TreeBlock如图3a，调换concat层为element-wise add，如图3b，在推理阶段可重新参数化为RepResBlock，如图3c；
与ResNet相似，我们的bakcbone称为CSPRepResNet，由3个卷积层构成的stem和4个stage堆叠构成，CSPRepResStage如图3d；
neck中除去CSPRepResStage中RepResBlock层和ESE层中的shortcut；
CSPRepResNet的宽度基线为$(64,128,256,512,1024)$，深度基线为$(3,6,6,3)$；s/m/l/x对于宽度、深度因子如表1；

实验结果如表2；

TAL

为了进一步克服分类及定位不对齐问题，作者提出TAL，包括动态标签分配，任务对齐损失；
根据预测结果，对每个真值框分配动态数量正样本；具体li流程如下：
1、在各个特征层计算gt与预测框之间代价函数；$t=s^{\alpha }\ast u^{\beta }$，其中$\alpha ，\beta$为配置参数，$s$为预测分类得分，$u$为iou;
2、对于每个gt选择top-k个最大的代价函数对应bbox；
3、选取bbox所使用anchor的中心落在gt内的为正样本；
4、若一个anchor box对应多个gt，则选择gt与预测框iou最大那个预测框对应anchor负责该gt；

通过对齐分类及定位任务，TAL可以获得同时获得高分类得分及准确预测框；
对于任务对齐损失，TOOD使用与真值框最大iou作为归一化值，分类损失如式1；

不同label assign策略实验如表3；

ET-head

YOLOX中解耦分类分支与回归分支，使得两任务独立，缺少任务特定学习；基于TOOD，改进head，兼顾速度与性能，提出ET-head；.
如图2所示，使用ESE替换TOOD中layer attention层；使用shortcut将分类分支简化；使用DFL层替换回归分支对齐；
对于分类及回归分支分别使用VFL及DFL损失函数；VFL使用目标score加权正样本loss weight； 这使得高IOU的正样本对损失函数贡献相对较大；同时更关注高质量正样本；
DFL与VFL都使用关注iou的分类得分，因此训练与推理过程高度一致；
损失函数如式2所示，

实验

PP-YOLOE-l在COCO数据集性能达到51.4mAP，78.1FPS，经TensorRT加速，FPS达到149.2；相对于PP-YOLOv2提升1.9AP，加速13.35%；相对于YOLOX提升1.3AP，加速24.96%；

结论

作者基于PP-YOLOv2进行优化，包括可缩放backbone-neck结构（CSPRepResNet）、有效的任务对齐head（ET-head），先进标签分配策略（TAL），精细化目标损失函数（VFL、DFL），这形成高质量目标检测器PP-YOLOE；