车道线检测--Towards End-to-End Lane Detection: an Instance Segmentation Approach

Towards End-to-End Lane Detection: an Instance Segmentation Approach
In IEEE Intelligent Vehicles Symposium (IV’18)
https://github.com/MaybeShewill-CV/lanenet-lane-detection

以前的CNN网络将所有的车道线检测出来，没做区分，需要后续处理区分出不同的车道线。本文的CNN网络模型可以直接区分不同的车道线，不需要后续处理。

这里设计了一个 multi-task network：lane segmentation branch 和 lane embedding branch。lane segmentation branch 只有两个输出类别：background or lane，不做车道线区分。lane embedding branch 专门用于车道线区分。

对于车道线拟合，需要将车道线分割出来的像素进行拟合，曲线描述 parametric description。一般的流程是将图像通过一个 perspective transformation 投影到 ”bird’s-eye view”，在这里面进行车道线曲线拟合，然后再通过 inverse transformation matrix 将车道线映射到原始图像上去。通常这个 transformation matrix 计算出来后是固定不变。但是如果地平面发生改变 ground-plane changes form，这个固定的 transformation 就不再成立了。 lane points close to the horizon may be projected into infinity, affecting the line fitting in a negative way. 这里我们使用一个 神经网络不停的学习这个 transformation，使用这个动态的 transformation 我们可以更好的拟合出车道曲线

LaneNet 的网络结构如下图所示：

这里检测 lance detection 看做一个 instance segmentation problem， instance segmentation task consists of two parts, a segmentation and a clustering part

binary segmentation： output a binary segmentation map, indicating which pixels belong to a lane and which not.
注意这里我们将被遮挡的或缺失的车道线都补全，输入CNN网络进行学习， the network will learn to predict lane location even when they are occluded or in adverse circumstances

这里的分割网络 使用 standard cross-entropy loss function，因为这两个类别 (lane/background) are highly unbalanced，这里我们采用文献【29】中的 bounded inverse class weighting 来解决

instance segmentation
对于 lane instance segmentation，常规的 detect-and-segment approaches 并不适合，因为 bounding box detection 适合紧凑的物体，而 lanes 并不紧凑，这里我们采用文献【5】中的 a one-shot method based on distance metric learning。通过 distance metric learning 将同一条车道线上的像素聚类的一起，将不同车道线上的像素分离开。

clustering 这一步通过迭代修改阈值将不同车道线上的像素聚类。

network architecture 在 ENet 的基础上修改得到

B. Curve fitting using H-NET
我们为什么需要在 ”bird’s-eye view” 这个视角下进行车道线拟合了？
在原始图像上拟合车道线需要高阶多项式
Fitting a polynomial through these pixels in the original image space is not ideal, as one has to resort to higher order polynomials to be
able to cope with curved lanes.

但是在 ”bird’s-eye view” 这个视角下 车道线是相互平行的，车道线可以使用2-3阶多项式拟合得到
lanes are parallel to each other and as such, curved lanes can be fitted with a 2nd to 3rd order polynomial.

以前采用固定的 transformation matrix H，但是当 ground-plane 发生变化即： where the vanishing-point, which is projected onto infinity, shifts up or downwards
这里我们使用 神经网络实时学习预测这个 transformation matrix H

速度

11