Recent Progress in Road and Lane Detection - A survey论文笔记（一）

1. 介绍

ADAS系统面临的瓶颈事认知问题，其中包括两类，一类是道路和车道线认知，一类是障碍物（如车辆、行人）识别。本文关注前者。
道路颜色、texture（质地、结构）、道路的边界以及车道线是被是人类行驶时的主要认知线索。道路和车道线检测包括检测道路的长度、车道线的数量和位置、合并、分离和终止线以及道路在城市、乡村和高速路的场景。使用的传感器主要有摄像头、Stereo、激光雷达、车辆测量程获得的车辆动态信息、GPS、数字地图。视觉在车道线和道路识别中是最重要的研究领域，还有激光雷达和GPS信息。

2. 面临的问题

2.1 Research gaps

由于典型的路宽和urban challenge中路线的宽度都是4-5米左右，这样的精度足够车辆自己盲目导航，不需要其它随车携带的认知。在这种情况下，道路检测的主要任务是定位验证和微调。

2.2 高可靠性需求

2.3 情况的多样性

车道线和道路的多样性：线一般是0.1米宽，白色或黄色。但也有其它情况。
图片清晰程度：图片会反光等，下雪天、雾天可能车道线不可见。

3. 传感器

摄像头一般装在车辆上部的正中间。所需分辨率可以计算得到NP=Cd/w，NP是水平像素数量，C是摄像头的视角领域（FOV）宽度的弧度，w是线的宽度（0.1），d是系统想要识别线的最远距离。
激光雷达：成本高，能检测车辆周边的3D结构。
GPS：目前GPS的精度再5-10米，可以利用IMU降低到1m。高精地图。
雷达：测距、区分道路和非道路，利用反射比的差别。

4. 建模

4.1 图片清理

识别出障碍物区域（大部分车辆）并去除。弱化阴影，处理过度或过少曝光的场景。移除clutter，图像伪影以及不相关的图像部分。剩余的图像作为特征提取的输入。方法主要分为两类：一是手动调节光照影响，二是剪切不相关的部分。

4.1.1 手动调节光照影响

手动调节光照影响的一个影响因素是调节获取图像设备的动态变化。如光线的突变，当车从隧道进出的时候，以及在桥下行驶时的阴影。一方面调节相机的项圈和增益，另一方面减少光线突变的影响。另一个影响因素是镜头光晕（反光），有方法是用星历计算太阳的位置，再校正摄像头来减少阳关直射的情况。投影是clutter的主要原因，为了避开这一影响，有人用了一系列基于color-space的转换方法转换成HSL、LAB等色彩模式。然后结合不同颜色模式的颜色通道，接受这些区域，光照和阴影区域在相同的表面分别有同样的光照强度。这些方法的前提是阴影部分的色彩信息依然存在，而且阴影周围有足够多的光照区域。通过这种方法提取出阴影的边缘特征，生成无阴影的图像。在湿和干两种场景下都适用。还有一种方法是基于texture，不基于色彩，但是要求图像中有足够多的road texture。另外一些可能的方法是在特征提取阶段，只有和道路边界方向平行的特征才会被提取，其它的大部分阴影以及clutter都会被过滤。

4.1.2 剪切

障碍物，如车辆行人是主要的剪切部分。一种方法是跟踪运动。基于颜色，被证实不可靠，错误率高。另一种方法是ROI。定一个上界限，把图片上面剪切掉。可以用于预测。

4.2 特征提取。

基于颜色和道路的纹理特征。

4.2.1 车道线边界特征

车道标志可以基于颜色和形状来检测。最小的限制是它们和道路外形不同。Steerable filters（方向可控的边缘过滤器）可用于检测任何方向的方向响应，只用了3个卷积核的卷积网络。这个特性可用于推断方向的边缘特征提取。这种方法还可以用于环路的检测。还有一些别的方法有Box filters、将图片分割成小块再分类等。
无论是哪个过滤器，一个问题是确定核的大小。避开这个问题的一个方法是扭曲图像来补偿远景的影响。在这种状况下，所有的线路宽度在任何距离下都是相等的。这种方法需要2D图片和3D地平面的结合。
另一种检测方法是假设亮度和颜色都是已知的。先学习道路标志的特征，然后根据相似度对像素分类。最后得到的结果是很多个分割的blobs集。这种Blob不能直接被分为是道路标志还是clutter，需要利用前后几帧的跟踪来判断是不是位于地面上的道路标志。

4.2.2 道路边界特征

城市环境中的路边(curbs)、高速路的护栏、还有一些道路没有明显的标志，只能通过颜色和质地的变化来判断边界。场景太多，不能只用一个特征。有些论文中假设道路和非道路有高度的不同。激光雷达的三维数据中的一些参数可作为特征用于分割道路，如之前提到的高速。车辆中每个射线中第一个粗糙质地的增加的点当作道路边界。
另一种避归3D的方法是计算对前一帧计算一个对应的投影。道路会完全重合。
还有一些方法是只是用颜色，不用空间信息。用之前不同颜色模型的颜色通道结合。有用高斯混合模型来表示颜色分布。用贝叶斯网络计算像素颜色的相似度，进行迭代分割。基于纹理的，需要道路类型，留下痕迹。

4.3 建立道路或车道线模型

这些模型可以分成几类，参数的、半参数的、无参数的。
参数模型。最简单的几何模型是直线。弯曲的道路可用抛物线和几何圆周弧长来表示。为了更准确的表示弯曲的道路，还有人使用双曲线。如今使用更多的是半参数模型中的样条函数（splines）。有方法是最小平方优化与RANSAC相结合，可提高容错性。之后有人在此基础上与中心线相结合，一个点和以它为圆心1m为半径的圆内的所有店相连，最大的区域作为内围层与抛物线模型相结合。
半参数模型。优点是不需要设置全局的几何形状。
Splines广泛用于表示曲线。用来表示边界和中心线。
无参数模型比较少见。只需要连续的线条。不可靠。提到的方法有分层贝叶斯等。

4.4 时间迭代

逐渐减小模型的误差。用卡尔曼滤波、Particle滤波等。（未完）

4.5 建立图像和世界的联系

（未完）