车道线检测论文阅读：Towards End-to-End Lane Detection: an Instance Segmentation Approach

Towards End-to-End Lane Detection: an Instance Segmentation Approach

论文链接：https://arxiv.org/abs/1802.05591
代码链接：https://github.com/MaybeShewill-CV/lanenet-lane-detection (tf实现，并不完整，部分功能未实现)
因为最近的项目了解到的论文，查了一下是2018 IEEE IV上的论文，本身比较偏向应用层面，理论上的创新不是太多。严格上讲，我更愿意把它看作分割问题……
主要贡献是两点，一个是利用Semantic Instance Segmentation with a Discriminative Loss Function的思路来实现对任意数量车道线的检测；另一个是车道线检测往往要通过变换矩阵来进行角度变换来使车道线平行从而拟合出可靠的车道线数学模型，但是固定的变换矩阵参数难以适应不同图片或者图片中的地平线变化，作者通过CNN学习矩阵参数解决了这个问题。面临类似问题的同学不妨一读。

1. Introduction

车道线检测实际上属于自动驾驶算法范畴的一部分，可以用来辅助进行车辆定位和进行决策等等。由于车道线本身狭长和弯曲的特性，实际上这个问题更合适看作分割问题而不是检测问题。
如果只是检测固定数量的车道线，可以将不同车道线看作不同的类别，比如左车道线类、右车道线类和背景类等等……但是，如果车道线数量是不固定的呢？无论是常见的对pixel进行softmax分类或者decouple的多个二分类，似乎都没办法解决这个问题了。这个问题其实更像是semantic instance segmentation，不仅要分类，还要精确描述每个个体。
在这里，作者应用了Semantic Instance Segmentation with a Discriminative Loss Function中的思路；同时利用CNN网络来预测车道线的mask，并对所有属于车道线的像素点进行聚类，得到不同的车道线，示意图如下……

最后，再来拟合每条车道线的数学模型。

2. Method

LaneNet

首先是主体网络部分，两条分支，一条分支预测mask，另一条分支给每个lane pixel分配所属lane的id。
binary segmentation 和常规的分割问题一样，没有太多特别的。值得一提的是，无论是车道线还是虚线或者车道线被遮挡的情况，作者在生成ground truth的时候都把它们标注了出来，这样就算对车道线没有完全露出来的情况，网络也可以比较好的学习。
重点是instance segmentation 分支，这个就是利用了上面提到的那篇文章的设计思路，分支的设计思想和传统统计学习的很多算法都类似，不同的lane看作不同的类，而预测的结果力求类内最小化和类间最大化。本着这个原则设计了loss函数。

第一项的主要作用就是把属于同一条lane的像素点往一起推，如果像素点和中心点距离超过一定阈值，就会产生loss；第二项的作用是把不同类中心点往距离加大的方向拉，如果中心点之间的距离小于一定阈值，就会产生loss（+号的意思代表若大于等于0不变，否则看作0），关于这两个阈值怎么选具体可以看论文，作者的设置和原文有一定的差别。
有了这个loss函数，就可以根据lane的mask和不同lane的像素点集合进行训练了。inference的时候思路如下：随机选取一个lane pixel视作当前lane的点集，然后将周围和它距离小于类内点阈值的所有点视作同一类，然后再遍历其它点，如果有某个点和点集内任意点距离小于类内阈值，则将该点加入点集，重复该过程直到点集不再发生变化，给这些点集分配一个lane的id；然后再选取没有被分配id的任意一个pixel，重复该过程。
关于network architecture，作者用的是 encoder-decoder ENet，这个网络共有三个阶段，这两个分支共享前两个阶段，而第三个阶段的encoder和整个网络的decoder部分则是独立

curve fitting

车道线检测一般是给y轴坐标，求车道线上对应的点的x轴的值。仅仅求出所有lane pixel是不够的，还要进行直线拟合，求出对应的数学模型。一般来说，现在在拟合曲线时候都会把图像转化到bird’s-eye view角度，就是让车道线都平行，这些便于拟合、可靠性更高，然后求出相应的点后，再映射回来。
转化到bird’s-eye view是利用矩阵来求的，问题来了，这个矩阵一般是计算一次后就对所有图像都使用的，一个问题就是，如果地平线发生变化，比如汽车行驶在山峦的公路上，很容易产生误差，因此作者就利用一个CNN网络，作者称之为H-Net来学习相关参数。
变换矩阵有6个自由度：

这部分的数学表述参考这里：

将所有点集构成矩阵，可以写作P’=HP‘，作者拟合的是三次曲线，实验表明三次的效果较好：

拟合曲线的参数求法如下：

最后，通过标注的点的y坐标求出其x坐标，然后根据求出坐标和实际值之间的差来计算这部分网络的loss，从而对H-Net进行参数更新，以更好地学习变换矩阵：

3. 实验结果

由于该论文是图森某个比赛的方案，因此关于指标和指标结果就不做介绍了，简单地展示一下结果吧：

单纯从理论角度来说，笔者认为那篇提出聚类loss的论文其实更有意思，不过在解决实际问题上，这篇文章还是有可取之处，有兴趣的不妨了解学习一下。