A Keypoint-based Global Association Network for Lane Detection

目录

Abstract

2. Related Works

2.2. Deformable Modeling

3. Method

3.1. Global Keypoint Association

3.1.2 Starting Point Regression

3.1.3 Lane Construction

3.2. Lane-aware Feature Aggregator

4.Experiment

4.2.3 Ablation Study

---

Abstract

提出一种新的基于关键点建模的车道线检测范式，即全局关联网络（GANet），通过直接回归车道线关键点到车道线起始点的偏移，来完成对车道线关键点的并行聚合，从而实现高效且准确的车道线检测。除此以外，本文还提出一个车道线感知的特征增强模块，以增强车道线的局部关键点关联，提升车道线局部连续性。

本文提出的方法GANet，配以LFA，从局部和全局两个角度对keypoint进行回归以检测车道线。

提出了一种车道感知特征聚合器(LFA)，它自适应地捕获相邻关键点之间的局部相关性，以补充全局关联的局部信息。

(a)所示，在推理过程中，通过回归实际车道线到其最接近的锚线的水平偏移量来对车道线的形状进行预测。这类方法在运行效率上有一定优势，然而由于对形状先验的依赖性较强，其对于形状较为复杂的车道线的刻画能力有限，在灵活度上略有不足。

 这种方法的局限在于预先设定的直线anchor对各种形状的线的泛化能力较弱，灵活性较差。

（b）基于关键点（keypoint-based）的方法

在每个关键点处预测其到下一个关键点的偏移量，通过迭代的方式，每次扩展一个关键点到当前车道线的关键点集合中。这种方法可以较为灵活的描述多种形状的车道线，然而这种逐点扩展的方式较为低效，很难满足实际应用的需求。

(c)我们的GANet的插图，它通过预测每个关键点与其对应的车道线的起点之间的偏移量，直接将每个关键点回归到其所属的车道。

(d)另一方面，由于在以上的关键点全局关联过程中，每个关键点都直接与车道线的起始点相关联，同一车道线上相邻关键点之间的缺乏关联，这可能会影响车道线的局部连续性。因此，我们还提出了一个车道感知的特征增强模块（Lane-aware Feature Aggregator，LFA）。如下图(d)所示，在LFA模块中，在每个关键点上预测其到相邻的若干个关键点的偏移量，并利用该偏移量对其他相邻关键点的特征进行聚合，以增强当前关键点的特征。LFA模块所提取的关键点间的局部关联与GANet中的全局关联构成互补，从而形成对车道线的全尺度建模。

本文提出GANet，从全局和局部两个互补角度来解决上述问题。每条线用一个start point表示，其他关键点通过与start point计算位移偏差，来确定其所属的start point，同属一个start point邻域的所有keypoint属于同一条车道线

实例。此过程中所有keypoint的计算相互独立，可以同时进行。全局匹配相比于逐点累积匹配更鲁棒。

确定相邻点的前后顺序，LFA模块用于整合局部关键点。采用2D可变形卷积预测邻接点的位移偏差。添加辅助的

损失函数来辅助估计每个点的偏差

贡献点：

（1）提出基于全局关键点回归的车道线检测方法GANet

（2）提出局部特征整合模块LFA，增强相邻关键点之间的相关性，以补充局部信息。

（3）SOAT

2. Related Works

基于关键点的方法 受人体关键点检测方法的启发，一些工作把车道线检测看作关键点的估计和连接问题。PINet使用沙漏网络预测关键点的位置和嵌入特征，使用嵌入特征来聚类不同的车道线。FOLOLane预测像素级同分辨率热点图来获取车道线上的点，使用局部线型构建方法来连接关键点，生成整条车道线。本文的GANet采用了更高效的后处理方法，不需要嵌入特征或者局部特征点关联机制来构建整条车道线。每个点并行地使用其到开始点的偏移量来找到所属的车道线。

2.2. Deformable Modeling

与这些方法不同的是，我们的LFA模块适应了车道线的长结构，并通过具有车道感知的可变形卷积，将特征聚合的范围限制在每个车道上的相邻点上。

3. Method

3.1. Global Keypoint Association

输入前视相机图片，依次经过主干网络（backbone）、自注意力模块（SA）、FPN模块提取图片的多尺度特征后，GANet利用一个关键点头（keypoint head）和一个偏移量头（offset head）来分别预测关键点的置信度图（confidence map）和关键点到车道线起始点的偏移量图（offset map），在推理过程中通过对这二者进行采样和组合，可以将关键点分配到所属的车道线，得到最终的车道线预测结果。LFA作为一个特征增强模块，插入在关键点头之前以帮助关键点预测。接下来的几部分我们将对这两部分展开详细的介绍。

为了估计所有的关键点，我们开发了一个关键点头来产生一个置信图Yˆ∈RHr×Wr，其中r是输出步幅。置信度图表示每个位置成为车道上的一个关键点的概率。如图2(a)所示，位置越亮表示概率越高。

使用惩罚递减的focal loss（penalty-reduced focal loss）来平衡关键点区域和非关键点区域的不均衡问题,下标yx表示获取坐标（x、y）处的值。

由于输出步幅r，输入图像的点(xji，yij)被映射到位置(xjir，yjir)，这可能会导致性能下降。

为了解决图像卷积过程中下采样导致的位置变换造成的性能损失（位置需要向下取整）此外，我们预测补偿图δˆyx，并将L1损失应用于关键点位置：此外，由于GANet的输出相比输入进行了一定的下采样，直接对下采样后的关键点坐标进行下取整会损失掉小数点后的精度。因此，我们额外设计了一个量化补偿项对此进行补偿，即

3.1.2 Starting Point Regression

为了区分不同的车道线，我们没有直接回归起点的绝对坐标(sxi，syi)，而是将每个关键点的偏移量回归到它，这可以定义为：

为了估计偏移图ˆOyx，我们引入了一个如图2所示的偏移头。类似地，L1损失用于约束偏移映射如下：

该监督只适用于关键点位置，其余位置将被忽略。

3.1.3 Lane Construction

车道线建构如上图所示。首先，如（a），对预测的关键点置信度图进行max pooling(1*3)，在水平方向的局部区

域选择置信度响应较大的点，作为关键点。然后把这些点组成有序序列：

其中，( s x , s y ) (sx, sy)(sx,sy)表示始点，其余点表示剩余的点。

为了获得每个车道的起点，我们在偏移图上选择值小于1的关键点作为候选起点。由于在同一局部区域内可能存在多个与上述条件相匹配的关键点，因此选择该区域的几何中心点以确保其唯一性。通过这种方法，初步确定了所有车道的实例及其起点

然后根据位移图计算每关键点对应的可能始点的位置（关键点本身的位置与位移之和，可以表示给该关键点预测、的始点的位置，即

、

3.2. Lane-aware Feature Aggregator

我们提出了一种车道感知特征聚合器(LFA)模块，以自适应地收集车道上相邻点的信息，从而增强每个关键点的局

部特征表示。

以某一关键点为例，模型首先用卷积层预测该点和它附近的同一条车道线上的M 个关键点的位移（位移是从该点的特征直接预测出来的）

然而为了保证在车道线关键点上偏移量预测准确，我们采用SmoothL1 Loss来监督偏移量的学习，这项损失函数仅在车道线关键点处计算：

其中，K为每条车道线上的关键点个数，N为车道线的个数，M为相邻关键点的采样个数。

4.Experiment

与另一种基于关键点的方法FOLOLane-ERF[21]相比，我们的GANet-S获得了78.79%的类似性能，但运行速度快3.8倍，这显示了性能和效率之间的优越权衡，并证明了我们的全球关联公式的速度优势。此外，我们的方法在6种场景中获得了最高的f1得分，特别是在曲线场景中。我们的GANet-L在这个场景中达到了77.37%，优于之前的方

ERF-E2E[32]，表明我们的方法在描述复杂车道线形状方面的优越性。

我们在下图展示了车道线检测的可视化结果，可以看到，在关键点置信度图上，LFA模块可以有效聚合关键点在置信度图上的响应值，得到更连续的关键点预测结果，从而有效改善车道线的漏检以及多检问题。

4.2.3 Ablation Study

第一行显示了没有LFA模块的基线方法。在第二行中，LFA模块被集成到GANet中，没有辅助损耗。最后一行显示了我们整个GANet的结果。

如第一行的结果所示，由于预测的车道点相互增强，即使是车辆被遮挡，LFA模块也能做出正确的预测。从第二行和第三行的结果中，还可以得出结论，LFA模块能够抑制由全局注意可能引入的背景噪声。

我们在图7中可视化了预测的特征聚合点。第一行显示了一个普通的直车道案例。通过辅助损耗的增加，LFA模块可以预测车道线周围的聚集点。同时，预测的聚集点是不规则的，没有辅助损失。最后两行显示了弯曲车道情况下的聚合点。结果表明，LFA模块对车道线局部结构的理解具有鲁棒性。这一特性有助于增强车道线特征和抑制背景噪声。