车道线检测-LSTR-论文学习笔记

• 论文：《End-to-end Lane Shape Prediction with Transformers》
• 代码：https://github.com/liuruijin17/LSTR
• 地址：https://arxiv.org/abs/2011.04233v2
• 内容：使用 CNN+Transformer，基于三次曲线拟合车道线

整体结构

模型输出的东西

$g_t=(k^{\prime \prime },f^{\prime \prime },m^{\prime \prime },n^{\prime },b_t^{\prime \prime },b_t^{\prime \prime \prime },{\alpha }_t,{\beta }_t)$ 及对应的存在性

以上各量满足：
$$u^{\prime }=\frac{k^{\prime \prime }}{(v^{\prime }-f^{\prime \prime }{)}^2}+\frac{m^{\prime \prime }}{v^{\prime }-f^{\prime \prime }}+n^{\prime }+b_t^{\prime \prime }{v}^{\prime }-b_t^{\prime \prime \prime }$$
其中，

• $(u^{\prime },v^{\prime })$ 为图像像素位置；
• $(k^{\prime \prime },f^{\prime \prime },m^{\prime \prime },n^{\prime })$ 决定了车道线的弯曲程度；
• $({\alpha }_t,{\beta }_t)$ 是第 $t$ 条车道线的起点；
• $(b_t^{\prime \prime },b_t^{\prime \prime \prime })$ 拟合直线部分。

补充：

• $n^{\prime }$ 与 $b_t^{\prime \prime \prime }$ 具有不同的物理背景，所以文中并没有将其合并。
• 以上公式的各参数具备明确的物理含义，其基于三次曲线，推导过程可参考文中的第 7 节。

预测的车道线与 GT 之间的匹配

使用 Hungarian 算法寻找最佳匹配

• 优化的损失函数：
  $$L={\Sigma }_{i=1}^N-{\omega }_1{\log }_{p_{\hat{z}(i)}}({\hat{c}}_i)+1({\hat{c}}_i=1){\omega }_2{L}_1({\hat{s}}_i,s_{\hat{z}(i)})+1({\hat{c}}_i=1){\omega }_3{L}_1({\hat{\alpha }}_i,{\alpha }_{\hat{z}(i)},{\hat{\beta }}_i,{\beta }_{\hat{z}(i)})$$

求的是 $\hat{z}={\mathrm{argmin}}_{z}L$
其中：

• $(c_i,g_i)$ 是预测的第 $i$ 条车道线；
• $c_i\in \{0,1\}$ 是对 预测的第 $i$ 条车道线 属实情况的预测；
• $\hat{s}=({\hat{u}}_r^{\prime },{\hat{v}}_r^{\prime }{)}_{r=1}^R$ 是车道线 GT（注意这里是对车道线的像素级采样，不是曲线参数 $g_r$）；
• $z(i)$ 是指：与 GT 中第 $i$ 条车道线相匹配的第 $z$ 条预测结果。
• $N$ 表示在每张图片上预测的车道线的数量，该值大于实际数量，所以在每张图片的 GT 集合中，存在并非车道线的“线”。
• $1({\hat{c}}_i=1)$ 是示性函数，当 GT 中第 $i$ 条车道线属实时，其值为 $1$，否则为 $0$。