车道线检测-Eigenlanes 论文学习笔记

论文：《Eigenlanes: Data-Driven Lane Descriptors for Structurally Diverse Lanes》

代码：https://github.com/dongkwonjin/Eigenlanes

核心：在 Eigenlane Space 中检测车道线

创新点

• Eigenlane：数据驱动的车道描述符，在特征车道空间中紧凑地表示结构多样化的车道；
• SIIC-Net：高效地检测和回归特征车道空间中的道路车道；
• SDLane数据集：比现有数据集更真实地表示真实驾驶环境中结构多样化和复杂的车道；

0、结构

1、Eigenlanes

用车道线在训练集中的分布来表示车道线。

• 车道线：$x=[x_1,x_2,...,x_N{]}^T$ （横坐标）
• 车道线矩阵：$A=[x_1,x_2,...,x_L]$（训练集中的所有车道线）
• 使用 Frobenius 泛数 $||A-A_M|{|}_F$ ，其在被最小化时，$A$ 的最佳 $M$ 阶逼近为：
  $A_M=[{\tilde{x}}_1,{\tilde{x}}_2,...,{\tilde{x}}_L]={\sigma }_1{u}_1{v}_1^T+\cdots +{\sigma }_M{u}_M{v}_M^T$
  其中：
  • $U_M=[u_1,...,u_M]$ 是 $U=[u_1,...,u_N]$ 的前 M 个左奇异向量；
  • $V_M=[v_1,...,v_M]$ 是 $V=[v_1,...,v_L]$ 的前 M 个右奇异向量；
  • ${\Sigma }_M=[{\sigma }_1,...,{\sigma }_M]$ 是 $\Sigma$ 的前 M 个奇异值（$\Sigma$ 中的奇异值经过了由大到小的排序，均大于0，且最小值为 ${\sigma }_r$，r 是 A 的秩）；
  • $U$、$V$ 以及 $\Sigma$ 是通过奇异值分解 $A=U\Sigma V$ 得到的。
  • 由此可知：
    • ${\tilde{x}}_i=U_M{c}_i=[u_1,...,u_M]c_i$
    • 定义 Eigenlanes：$u_1,...,u_M$
    • 定义 Eigenlanes 空间：由 $\{u_1,...,u_M\}$ 张成的空间
• 给定车道线 $x$，将其映射到 Eigenlanes 空间：$\tilde{x}=U_{M}c$，其中 $c=U_M^{T}x$

在 Eigenlanes 空间生成候选车道线

在低维空间进行聚类，效果更佳。

Algorithm 1 Lane candidate generation in eigenlane space
Input: Set of training lanes $\{x_1,x_2,...,x_L\}$, $M=\#$ of eigenlanes, $K=\#$ of lane candidates

1. Construct the lane matrix A and perform SVD in $A=U\Sigma V$;
2. Transform each lane $x_i$ to $c_i$ via $c=U_M^{T}x$;
3. Apply the K-means algorithm to $\{c_1,c_2,...,c_L\}$ to obtain K centroids $c^1,c^2,...,c^K$
4. Generate the lane candidate $l_k=U_M{c}^k$ by inversely transforming each centroid $c^k$

Output: Set of lane candidates $\{l_1,...,l_K\}$

在 Eigenlanes 空间上，（通过最近邻）检测到 $l=U_{M}c$ 之后，再用一个回归器回归出 $\Delta c$，这样有：

$$l+\Delta l=U_M(c+\Delta c)$$

2、SIIC-Net

整体结构

Encoder：ResNet50

Decoder：Binary Segmentation Map

2.1、SI 模块（Self-lane Identification）

预测：车道线概率、位置偏移、最顶处点的高度

输入：Squeezed Feature Map $X_s$、候选车道线 $l_k$

输出：$P=\sigma (f_1(Y)),H=\sigma (f_2(Y)),O=f_3(Y)$

其中，$Y_s=[Y_s^1,Y_s^2,...,Y_s^{C_2}]\in {\mathbb{R}}^{K\times C_2}$ 是沿着候选车道线 $l_k$ 做均值：

$$Y_s^c=\frac{1}{|l_k|}{\Sigma }_{p\in l_k}{X}_s^c(p)$$

$f_i$ 分别是 $C_2\times 2$、$C_2\times R$、$C_2\times M$ 的全连接层。$O_k$ 就是前面提到的偏移量 $\Delta c_k$

SI 模块之后，应用 NMS T 次，以选出 T 条有价值的车道线。

2.2、IC 模块（Inter-lane Correlation）

利用了车道线之间的 相关性：

1. 相邻车道等间距
2. 透视变换下，车道线交于 Vanishing Point

输入：Aggregated Feature Map $X_a$、候选车道线 $l_k$、前段 NMS 输出的 T 条车道线；

输出：相应两条车道线对的匹配度 $R={\varphi }_1(Y_a)\times {\varphi }_2(Y_a{)}^T$

其中，

• $Y_a$ 使用 $X_a$ 计算得到，计算方式与 $Y_s$ 类似，它是 $T\times C_1$ 的矩阵
• $R$ 是 $T\times T$ 的矩阵，$R_{ij}\in [-1,1]$
• ${\varphi }_1$ 与 ${\varphi }_2$ 是用卷积与 $l_2$ 泛数实现的特征变换。

2.3、MWCS 模块

这是一种图优化技术，可见论文：《Harmonious Semantic Line Detection via Maximal Weight Clique Selection》

主要有两步操作：

1. 寻找可以修正的最佳车道线 clique；
2. 通过删除 y 坐标比 $H_{v_i}$ 大的点，修正了每条车道线的高度；（后面不再赘述）

寻找可以修正的最佳车道线 clique

构建完全图

• $G=(\mathcal{V},\mathcal{E})$
• $\mathcal{V}=\{v_1,v_2,...,v_T\}$ 是 NMS 输出的车道线
• $\mathcal{E}=\{(v_i,v_j):i\ne j\}$，每条边上有个权重 $w(v_i,v_j)=\frac{1}{2}(R_{ij}+R_{ji})$

定义匹配度

• 记 $\theta$ 为车道线 clique，由图节点的序号构成；
• $\theta$ 上的匹配度 $E_{compatible}(\theta )$：

$$E_{compatible}(\theta )={\Sigma }_{i\in \theta }{\Sigma }_{j\in \theta ,j>i}w(v_i,v_j)$$

选 clique ${\theta }^{\ast }$

$${\theta }^{\ast }=\arg \underset{\theta }{\max }{E}_{compatible}(\theta )$$

其中，限定 $w(v_i,v_j)>\kappa$。

如果没有满足约束的 clique，则选择最大的单节点 clique：${\theta }^{\ast }=\{i^{\ast }\}$，其中 $i^{\ast }=\arg {\max }_i{P}_{v_i}$

调整候选车道线

使用 $U(c_{v_i}+\Delta c_{v_i})$ 调整 ${\theta }^{\ast }$ 中的车道线，其中 $\Delta c_{v_i}$ 是 SI 模块的输出。