车道线检测-GANet-CVPR2022论文学习笔记

• 论文：《A Keypoint-based Global Association Network for Lane Detection》
• 代码：https://github.com/Wolfwjs/GANet
• 地址：http://arxiv.org/pdf/2204.07335
• 内容：使用 CNN，基于关键点检测车道线

整体结构

模型还有一个补充分支（Compensation Map ${\hat{\delta }}_{yx}$）没有在上图中画出来。该分支的任务是减小被 stride r 带来的量化误差，其损失函数为：
$${\mathcal{L}}_{quant}=\frac{1}{H^{\prime }\times W^{\prime }}{\Sigma }_{yx}|{\hat{\delta }}_{yx}-{\delta }_{yx}|$$

其中，${\delta }_{yx}=(\frac{x_i^j}{r}-\lfloor \frac{x_i^j}{r}\rfloor ,\frac{y_i^j}{r}-\lfloor \frac{y_i^j}{r}\rfloor )$，$H^{\prime }=\frac{H}{r}$，$W^{\prime }=\frac{W}{r}$

文中，每条车道线用 K 个关键点表示，这些关键点是经过采样得到的，假设每张图片中的车道线数目是 N：
$$l_i=\{p_i^1,p_i^2,\cdots ,p_i^K{\}}_{i=1}^N$$

模型输出的东西：

对每条车道线，模型预测其每个关键点。

各个模块：

1. 关键点预测模块

用一个 $\frac{H}{r}\times \frac{W}{r}$ 的 Confidence Map 描述某一点是车道线关键点的概率。

构建对应的GT：使用非归一化的高斯核生成GT，在两个高斯Map的重叠处取两者在该处的最大值。
$$Y_{yx}=\exp (-\frac{(x-\tilde{x}{)}^2+(y-\tilde{y}{)}^2}{2{\sigma }^2})$$

其中，$(\tilde{x},\tilde{y})$ 是关键点的位置。

该模块的 损失函数：
$${\mathcal{L}}_{point}=\frac{-1}{H^{\prime }\times W^{\prime }}{\Sigma }_{yx}\{\begin{array}{l}(1-{\hat{Y}}_{yx}{)}^{\alpha }\log {\hat{Y}}_{yx}{Y}_{yx}=1\\ (1-Y_{yx}{)}^{\beta }{\hat{Y}}_{yx}^{\alpha }\log (1-{\hat{Y}}_{yx})otherwise\end{array}$$

2. 起始点回归

用一个 $\frac{H}{r}\times \frac{W}{r}\times C$ 的 Offsets Map，其每个像素上的值是该点到起始点的偏移量（仅考虑关键点）。

记第 i 条车道线起始点为 $(s{x}_i,s{y}_i)$，其第 j 个关键点为 $(x_i^j,y_i^j)$，则偏移量为：
$$(\Delta x_i^j,\Delta y_i^j)=(s{x}_i,s{y}_i)-(x_i^j,y_i^j)$$

该模块的 损失函数：
$${\mathcal{L}}_{offset}=\frac{1}{H^{\prime }\times W^{\prime }}{\Sigma }_{yx}|{\hat{O}}_{yx}-O_{yx}|$$

3. 构建车道线的方式

经前面处理之后，可以根据预测的关键点及其相对起始点的偏移，求得车道线的起始点。对于具有 K 个关键点的车道线，将得到 K 个起始点，且这些起始点在距离上会比较接近。

关键点中包含了起始点 $(s{x}_i,s{y}_i)$，该点在 Offset Map 上的值 小于 1；
通过设置距离阈值 ${\theta }_{dis}$，可以对 $(sx{’}_i,sy{‘}_i)=(x,y)+(\delta x+\delta y)$ 得到的起始点进行分组，每组就代表一条车道线。

Lane-aware Feature Aggregator（LFA）模块

1. 用卷积层预测第 $i$ 个关键点在同一条车道线上的 $M$ 个相邻点到其自身的偏移量
   $$\Delta P_i=\{\Delta p_i^m|m=1,\cdots ,M\}\in {\mathbb{R}}^{2M}$$
2. 将这些相邻点处的特征集成到第 $i$ 个点上去：
   $$\hat{\mathcal{F}}(p_i)={\Sigma }_{m=1}^M{w}_m\cdot \mathcal{F}(p_i+\Delta p_i^m)$$

需要用预测出的相邻点偏移量集合与偏移量真值集合
$$\Delta G_i=\{\Delta g_i^k|\Delta g_i^k=g_i^k-p_i,k=1,\cdots ,K\}$$
之间进行二部匹配，即寻找最佳匹配：
$$\hat{\sigma }={\mathrm{argmin}}_{\sigma }{\Sigma }_m^M{L}_2(\Delta p_i^m,\Delta g_i^{\sigma (m)})$$

该模块的 损失函数：

$${\mathcal{L}}_{aux}=\frac{1}{KNM}{\Sigma }_i^{KN}{\Sigma }_m^{M}SmoothL1(\Delta p_i^m,\Delta g_i^{\hat{\sigma }(m)})$$

4. 整体损失函数：

$${\mathcal{L}}_{total}={\lambda }_{point}{\mathcal{L}}_{point}+{\lambda }_{quant}{\mathcal{L}}_{quant}+{\lambda }_{offset}{\mathcal{L}}_{offset}+{\lambda }_{aux}{\mathcal{L}}_{aux}$$