YOLOP 论文笔记

YOLOP: You Only Look Once for Panoptic Driving Perception

YOLOP

论文链接: https://arxiv.org/abs/2108.11250v5

一、 Problem Statement

自动驾驶中，如果使用一个接一个模型来进行图像分析，比如目标检测，语义分割和车道线检测，会增大消耗资源，也有可能无法达到实时性能。

二、 Direction

提出一个通用范式: one encoder backbone + three prediction heads。这个模型分别用于目标检测，可通行区域分割和车道线分割。整体的模型框架如下:

三、 Method

1. Backbone and Neck

作者采用CSPDarknet，SPP和FPN的一个组合作为encoder。

2. Prediction heads

• Detect Head
  类似于YOLOv4，作者使用了path aggregation network(PAN)和anchor-based的检测头。

• Drivable Area Segment Head & Lane Line Segment Head
  可通行区域的检测头和车道线分割的检测头都是同样的网络结构。使用FPN最后一层作为输入，维度为:$(W/8,H/8,256)$。使用Nearest Interpolation Method进行上采样，恢复输出分辨率为:$(W,H2)$。

3. Loss function

先来看一下整体的Loss function:
$$L_{all}={\gamma }_1{L}_{det}+{\gamma }_2{L}_{da-seg}+{\gamma }_3{L}_{ll-seg}$$

上面的式子包含三个部分:

• $L_{det}$是目标检测的损失函数。包括三个部分:classification loss，object loss，和bounding box loss。
  $$L_{det}={\alpha }_1{L}_{class}+{\alpha }_2{L}_{obj}+{\alpha }_3{L}_{box}$$
  其中，$L_{class},L_{obj}$使用Focal Loss，$L_{box}$是CIoU Loss。

• $L_{da-seg}$和$L_{ll-seg}$都使用Cross Entropy Loss。但是对于车道线分割，它还多了一项IoU Loss:$L_{IoU}=\frac{TN}{TN+FP+FN}$
  $$\begin{gathered} L_{da-seg}=L_{ce} \\ {L}_{ll-seg}=L_{ce}+L_{IoU} \end{gathered}$$

四、 Conclusion

同时使用一个backbone，不同的prediction heads来进行end-to-end训练。效果都分别达到SOTA，思路较为简单。

Reference