车道线检测算法LaneNet + H-Net(论文解读)

       本文将对论文Towards End-to-End Lane Detection: an Instance Segmentation Approach进行解读。这篇论文是于2018年2月挂在arxiv上的。

       文中提出了一种端到端的车道线检测算法,包括LaneNet和H-Net两个网络模型。其中,LaneNet是一种将语义分割对像素进行向量表示结合起来的多任务模型,负责对图片中的车道线进行实例分割;H-Net是由卷积层和全连接层组成的网络模型,负责预测转换矩阵H,使用转换矩阵H对属于同一车道线的像素点进行回归(我的理解是对使用坐标y对坐标x进行修正)。

       根据论文中的实验结果,该算法在图森的车道线数据集上的准确率为96.4%,在NVIDIA 1080 TI上的处理速度为52FPS。


SystemOverview


图1  系统总览

        如图1所示,对于同一张输入图片,LaneNet输出实例分割的结果,为每个车道线像素分配一个车道线ID,H-Net输出一个转换矩阵H,使用转换矩阵H对车道线像素进行修正,并对修正的结果拟合出一个三阶的多项式作为预测得到的车道线。



LaneNet

图2  LaneNet的结构

       论文中将实例分割任务拆解为语义分割聚类两部分,如图2所示,LaneNet中decoder分为两个分支,Embedding branch对像素进行嵌入式表示,训练得到的embedding向量用于聚类,Segmentation branch负责对输入图像进行语义分割(对像素进行二分类,判断像素属于车道线还是背景)。最后将两个分支的结果进行结合得到实例分割的结果。

语义分割

在设计语义分割模型时,论文主要考虑了以下两个方面:

1.在构建label时,为了处理遮挡问题,论文对被车辆遮挡的车道线和虚线进行了还原;

2. Loss使用交叉熵,为了解决样本分布不均衡的问题(属于车道线的像素远少于属于背景的像素),参考论文ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation ,使用了boundedinverse class weight对loss进行加权:

图3  bounded inverse class weight  

其中,p为对应类别在总体样本中出现的概率,c是超参数(ENet论文中是1.02,使得权重的取值区间为[1,50])。

实例分割

       为了区分车道线上的像素属于哪条车道,embedding_branch为每个像素初始化一个embedding向量,并且在设计loss时,使得属于同一条车道线的像素向量距离很小,属于不同车道线的像素向量距离很大

这部分的loss函数是由两部分组成:方差loss(L_var)和距离loss(L_dist):

图4  实例分割loss

其中,x_i为像素向量,μ_c为车道线的均值向量,[x]+ = max(0,x)

可以这么理解:

方差loss(L_var) :当像素向量(pixel embedding)x_i与对应车道线均值向量μ_c的距离大于δ_v时,模型会进行更新,使得x_i 靠近μ_c ;

距离loss(L_dist) :当不同车道线均值向量 μ_ca和μ_cb之间的距离小于δ_d 时,模型会进行更新,使得μ_ca与μ_cb远离彼此;

也就是说,方差loss(L_var)使得像素向量向车道线的均值向量 μ_c 靠近,距离loss(L_dist)则会推动聚类中心远离彼此。

聚类

        为了方便在推理时对像素进行聚类,在图4中实例分割loss中设置δ_d > 6*δ_v。

        在进行聚类时,首先使用mean shift聚类,使得簇中心沿着密度上升的方向移动,防止将离群点选入相同的簇中;之后对像素向量进行划分:以簇中心为圆心,以2δ_v为半径,选取圆中所有的像素归为同一车道线。重复该步骤,直到将所有的车道线像素分配给对应的车道。

只有在推理时才需要对车道线像素进行聚类。

不熟悉mean shift算法的同学可以看看这篇博客:mean shift

Network Architecture

       LaneNet是基于ENet的encoder-decoder模型,如图5所示,ENet由5个stage组成,其中stage2和stage3基本相同,stage1,2,3属于encoder,stage4,5属于decoder。

       如图2所示,在LaneNet中,语义分割和实例分割两个任务共享stage1和stage2,并将stage3和后面的decoder层作为各自的分支(branch)进行训练;其中,语义分割分支(branch)的输出shape为W*H*2,实例分割分支(branch)的输出shape为W*H*N,W,H分别为原图宽和高,N为embedding vector的维度;两个分支的loss权重相同。

图5  ENet网络结构



H-NET

        LaneNet的输出是每条车道线的像素集合,还需要根据这些像素点回归出一条车道线。传统的做法是将图片投影到鸟瞰图中,然后使用2阶或者3阶多项式进行拟合。在这种方法中,转换矩阵H只被计算一次,所有的图片使用的是相同的转换矩阵,这会导致地平面(山地,丘陵)变化下的误差。

        为了解决这个问题,论文训练了一个可以预测转置矩阵H的神经网络H-Net,网络的输入是图片输出是转置矩阵H

图6  转置矩阵H

通过置0对转置矩阵进行约束,即水平线在变换下保持水平。(即坐标y的变换不受坐标x的影响)

        由图6可以看出,转置矩阵H只有6个参数,因此H-Net的输出是一个6维的向量。H-Net由6层普通卷积网络和一层全连接网络构成,其网络结构如图7所示:

图7  H-Net网络结构

损失函数设计

H-Net的损失函数

Curve Fitting (inference)

Curve fitting的过程就是通过坐标y去重新预测坐标x的过程:

图8  使用转换矩阵进行推理的过程



实验超参数设置

LaneNet和H-Net是分别进行训练的。在论文的实验部分,两个模型的参数配置如下所示:

LaneNet:

•    Dataset : Tusimple

•    Embedding dimension = 4

•    δ_v=0.5

•    δ_d=3

•    Image size = 512*256

•    Adam optimizer

•    Learning rate = 5e-4

•    Batch size = 8

H-Net:

•    Dataset : Tusimple

•    3rd-orderpolynomial

•    Image size =128*64

•    Adam optimizer

•    Learning rate = 5e-5

•    Batch size = 10



个人总结

1.论文将车道线检测定义为实例分割问题,通过将语义分割聚类两个任务结合完成了对车道线的实例分割;

2.由于图片中的车道线数量不固定,需用通过聚类的方法来检测出所有的车道线,论文通过embedding branch的loss函数的设计,使用有监督训练解决了像素的聚类问题;

3.LaneNet的网络结构是借鉴ENet的,而ENet是2016年提出的一种语义分割模型,是不是可以使用性能更好的语义分割模型(如deeplab)作为LaneNet的网络结构?

你可能感兴趣的:(车道线检测算法LaneNet + H-Net(论文解读))