用Transformer端到端车道形状预测Lane Shape Prediction with Transformers

摘要

主流做法（特征提取和后处理）比较有用，但无法学习车道线的细长结构，学习过程有瑕疵。本文提出的端到段方法可以直接输出车道线的形状参数，transformer可以学习全局信息和车道线独有的结构。

引言

提出了个数据集 Forward View Lane (FVL)。

相关工作

和PolyLaneNet类似的思路，在这项工作中，我们的方法也期望参数输出，但不同之处在于这些参数来自车道形状模型，该模型对道路结构和相机姿势进行建模。 这些输出参数具有明确的物理意义，而不是简单的多项式系数。 此外，我们的网络是用 Transformer Block 构建的，该模块在对非局部交互进行建模时表现出注意力，使其能够加强对车道细长结构的捕获和全局上下文信息的学习。

方法

车道形状模型

车道形状的先验模型被定义为道路上的多项式。 通常，三次曲线用于近似平坦地面上的单车道线：

其中，k、m、n、b是实数参数，k！=0；(X, Z) 表示地平面上的点。 当光轴平行于地平面时，从道路投影到像平面上的曲线为：

其中，k’、m’、n’、b’是参数和相机内参、外参的组合，(u, v) 是图像平面上的像素。
对于光轴与地平面成 φ 角的倾斜相机，从倾斜图像平面到倾斜图像平面的变换曲线为：

这里 f 是以像素为单位的焦距，(u’, v’) 是相应的变换。 当 φ = 0 时，曲线函数方程为 3 将简化为等式 2。推导的细节可以在Sec.7中查看。

曲线重新参数化

通过将参数与俯仰角 φ 相结合，倾斜相机平面中的曲线具有以下形式：

这里，两个常数项 n’ 和 b’’’ 没有积分，因为它们包含不同的物理参数。

除此之外，还引入了垂直起点和终点偏移α，β来参数化每条车道线。这两个参数提供了描述车道线上下边界的基本定位信息。
在实际道路条件下，车道通常具有全局一致的形状。 因此，从左到右车道的近似弧具有相等的曲率，因此所有车道将共享 k ‘’, f’’, m’’, n’。 因此，第 t 条车道的输出被重新参数化为 gt：

其中 t ∈ {1, …, T}，T 是图像中的车道数。 每条车道仅在偏置项和下/上边界方面有所不同。

Hungarian拟合损失

匈牙利拟合损失在预测参数和地面实况车道之间执行二分匹配，以找出正负。 匈牙利算法有效地解决了匹配问题。 然后匹配结果用于优化特定车道的回归损失。

二分匹配

我们的方法预测固定的 N 条曲线，其中 N 设置为大于典型数据集图像中的最大车道数。

表示预测曲线。
其中，（0：无线，1：有线）。
ground truth车道标记用序列表示。
其中，r表示r 依次索引范围 R 内的样本点并且。
由于预测曲线的数量 N 大于 ground truth 车道的数量，我们将 ground truth车道也视为一组大小为 N 的填充有非车道

我们通过搜索最佳单射函数将曲线集和地面实况车道标记集之间的二分匹配公式化为cost最小化问题。

z (i) 是分配给拟合地面实况车道 i 的曲线索引：

d 测量匹配cost，给定第 i 个地面实况车道和具有索引 z (i) 的预测曲线之间的特定排列 z。 根据先前的工作（例如，[17]），可以通过匈牙利算法有效地解决这个