车道线检测-LaneATT 论文学习笔记

论文：《Keep your Eyes on the Lane: Real-time Attention-guided Lane Detection》

地址：https://arxiv.org/abs/2010.12035v2

代码：https://github.com/lucastabelini/LaneATT

整体结构

车道线的表示方式

$$Lane=\{(x_i,y_i){\}}_{i=0}^{N_{pts}-1},y_i=i\cdot \frac{H_{image}}{N_{pts}-1}$$

s: 起始点 index

e: 终止点 index

anchor 的表示方式

1. 位于图像边缘的初始点 $O=(x_{orig},y_{orig})$；
2. 角度 $\theta$；

模型输出

1. $K+1$ 个概率值，对应 K 条车道线，1 个 background；
2. `$N_{pts}$ 个偏移量，以衡量 prediction 与 anchor 之间的水平距离；
3. 长度 $l$，具体指有效偏移量的个数

起始点 s 被定义为 $y_{orig}$;

终止点 e 被定义为 $e=s+\lfloor l\rfloor -1$;

损失函数

Focal Loss 与 Smooth L1 Loss

骨干网

一般的CNN都可以，原文中又用了一个 $1\times 1$ 的 Conv 对骨干网输出的特征通道（$F_{back}\in {\mathbb{R}}^{C_F^{\prime }\times H_F\times W_F}$）进行了缩减（$F\in {\mathbb{R}}^{C_F\times H_F\times W_F}$）。

Anchor-based Feature Pooling

将图像上的 Anchor $(x_{orig},y_{orig},\theta )$ 投影到特征（得到 $\{(x_j,y_j)|y_j=0,1,2,...,H_F-1\}$）上：

$$\begin{array}{rl}{x}_j& =\lfloor \frac{1}{\tan \theta }(y_j-\frac{y_{orig}}{strid{e}_{backbone}})+\frac{x_{orig}}{strid{e}_{backbone}}\rfloor \\ y_j& =0,1,2,...,H_F-1\end{array}$$

Attention 方案

利用局部 anchor 特征构建辅助 anchor 特征，以集成全局信息。

$$\begin{array}{rl}{w}_{i,j}& =\{\begin{array}{ll}\text{softmax}(L_{att}(a_i^{local}){)}_j,& \text{if}j<i\\ 0,& \text{if}j=i\\ \text{softmax}(L_{att}(a_i^{local}){)}_{j-1},& \text{if}j>i\end{array}\\ a_i^{global}& ={\Sigma }_j{w}_{i,j}{a}_j^{local}\end{array}$$

• 符号的含义可见上图；
• 实际使用的是矩阵形式；