ADAS多传感器融合----毫米波雷达、激光雷达、摄像头

http://auto.sina.com.cn/j_kandian.d.html?docid=fynmnae1235693&subch=iauto

1. 毫米波雷达

       优点主要是探测距离比较远，精度非常高，而且不受天气和光线的影响。毫米波雷达对运动的金属物体比较敏感，但对于静止的金属或非金属物体，运动的非金属物体都不太敏感，分辨率也比较低，不太容易得到障碍物的轮廓。毫米波雷达比较适合在高速公路上进行障碍物探测，包括车道线的识别，它可以通过强度成像来获取信息。

      毫米波雷达在前端市场上基本上达到了千元级别，而成本是几百块钱。      

2.激光雷达

稠密点云以及视觉识别能力。

在未来会成为一个非常重要的传感器。

         激光雷达的测距精度非常高，基本上可以达到正负一两厘米，甚至到了毫米级，分辨率也非常高。机械激光雷达可以360度旋转，同时角分辨率也比别的雷达高。但是目前的机械旋转激光雷达的成本比较高，而且容易受到阳光雨雾和互干扰的影响。它跟毫米波雷达一样是属于主动传感器。目前的机械激光雷达也会受到工作温度以及工作环境震动的影响，它的工作温度一般是在零下10°到零上60°左右。

     激光雷达目前的成本比较高，美国Velodyne的64线激光雷达在10万美金左右，即使是16线雷达的售价也在8000美金左右。

     Flash激光雷达以及MEMS激光雷达，即向使用各种镜片或者透镜来形成非旋转式雷达的方向演进和发展，它的成本还有功耗都会有很大的下降。

3. 摄像头

    摄像头可以通过丰富的成像信息进行各类识别运算，比如行人、形变的物体，还有停车场的横杆以及交通标识等。

4. ADAS系统

中科慧眼基于面的立体匹配。

         先对图像中的场景进行道路以及障碍物或者各种特殊物体的分割，在分割基础上进行基于机器学习和深度学习的物体识别，再根据物体分割识别的结果，结合单目估距算法就可以将物体测距的距离推得更远，这样我们就能将双目稠密点云类似激光雷达的精准测距及物体分割的优点与单目视觉基于训练模型进行物体分类以及物体估距的优点相结合，打造成更好的3D视觉系统。

 

     

1.   以Velodyne 的16线激光雷达为例，视觉测距点云非常稠密，每秒钟输出2700万点云，而16线激光雷达的点云只有30万点云，点密度比它高90倍。在测量范围误差上，双目视觉在近处的误差比较小，可以达到厘米级别，而在远端的误差会比较大，会在几米的级别甚至达到十米的误差，这与成像精度、成像条件以及测量目标的实际纹理相关。激光雷达从近端到远端都能保持非常好的测距精度。从视场角上来看的话，视觉系统不可避免地受到一些光学成像的限制，视场角不如360°旋转的机械激光雷达，但跟Flash的固态雷达是相近的。

2.角分辨率上视觉无疑是占了优势。比如说16线的激光雷达、机械式的旋转型雷达的角分辨率水平最高是0.1度，我们是0.03125度，我们高3倍到13倍；垂直分辨率，我们还是0.03度左右，而激光雷达在两度左右，对于垂直角分辨率来说，这是比较粗的。

大目标的探测上，激光雷达占据优势。就像大客车横过来而导致物体整个面积比较大，激光雷达很远就能够有足够的点云，距离一致性也可以保证我们对障碍物进行提取。如果定义对小目标的探测距离，假如以半米宽的人形目标为例，假如在水平方向上打12个点能够确保对目标比较稳定的提取，通过运算可以看到我们二代产品的立体视觉可以对该目标探测到76.4米，而16线激光雷达基本是要在20多米才能提取出这样的小目标。因为激光雷点扫描线之间的角分辨率比较低，远处小目标可能会被漏掉，有些点打不到上面去。

3.温度和振动条件的角度，我们的产品满足了车规，但是激光雷达还有一些极端条件需要去克服。从是否受环境影响上来看，视觉系统不可避免受到夜间暗光以及雨雪雾天气的影响，但是激光雷达也会受这些影响。比如阳光的直射，阳光里面含各种光谱的信息，一部分是可以对激光雷达造成干扰的，另外它也受到一些雨雾天气的限制，也就是说它的穿透力也是有限制的。在能否识别交通标识方面，激光雷达通过强度成像应该是能够识别车道线，但并不是所有的激光雷达都有这样的能力，视觉可以非常轻松取得这些信息，另外，视觉在识别障碍物类型上的潜力比较大。而市场售价上，我们的售价是小于它的1/40的。

近处的信号灯要求大视角与大仰角的中短焦镜头，远处的交通灯则需要基本平视的长焦镜头；

可见光的传感器与非可见光传感器的融合，可以获得更多差异化的环境信息。

可见光相机跟红外相机融合，或者将可见光相机与热成像仪融合，又或者单目视觉与立体相机融合，通过融合可以做出很多不同的多目相机。这样可以解决在夜间或者特殊天气情况下一些可见光相机成像降质导致信号分析困难的障碍。

4. 双目摄像头场景的划分以及障碍物的提取不完全依赖于识别和先验知识，可以直接通过点云进行障碍物提取以及划分，其实这种方式与激光雷达是完全一样的，因为激光雷达它得到的信号就是密集的点云，只要点云足够密集，就可以对距离较为均匀的整体区域进行提取，这就是我们所谓的障碍物提取，对人、树和汽车的提取都是这样子的。在进行精确的环境划分以及障碍物提取之后，我们通过视觉纹理可以快速做更加精准的障碍物分类。我们的识别就可以做到更加的有目的性，而且更加精准。同时，我们的测距也不依赖于别的参照物，不是去估距。而且像车道线的提取类似交通路牌的提取，我们可以直接借鉴三维信息等一些感知优势。这样我们的车道线识别就不会跑道路路沿上，不会跑到草丛里面去，同时我们的路灯以及路牌检测结果也不会是一个虚假的目标。