车载双目ADAS(五):双目视觉技术的原理、组成、应用与挑战

1. 双目视觉的原理

    采用一对相机代替双眼。通过左右图像获取各像素点的视差,然后基于三角测量原理重构三维信息,从而识别障碍物体。与单目视觉相比,双目视觉不依赖庞大的训练集,测距精度较高。

                              

                                                                           (引自:中科慧眼官网)

注:视差(disparity)是指同一物体在左右图中的横坐标之差。

                     

    深度距离和视差成反比,物体距离双目相机越远,视差越小,离相机越近,视差越大。 

           


2.双目视觉系统的组成

   图像采集:要求相机绝对的同步,图像画质清晰,高对比度。

   双目标定:以标定板为参照系,求得相机的内参(图像中心和畸变系数)和外参数(RT矩阵)。

   图像校正:依据相机内外参数对畸变图像进行平行等位校正,获得无畸变且平行等位的左右图像。

   双目匹配:对校正后的图像进行匹配,获得视差图像,供后续算法使用。

   ADAS功能:根据视差图进行障碍物检测预警和车道线检测。


3.双目视觉技术的应用

                  

3.1航空航天、无人机

    华盛顿大学与微软公司合作为火星卫星“探测者”号研制了宽基线立体视觉系统,使“探测者”号能够在火星上对地形进行精确的定位和导航;嫦娥二号搭载的玉兔号也配备双目立体相机,进行避障。

    大疆精灵无人机,辅助无人机更快更好地识别周围场景,便于它的飞行与避障,现在配备2对以上的双目相机。主要的原因可能是双目的优势:体积小,功耗小。

3.2工业非接触式检测

      高温环境下大型铸件在热处理过程中(上千度)尺寸的测量,对中型或大型尺寸的物体尤其有用。固定工位装配零件的检测,场景简单。(参见大恒公司的部分产品)

3.3手机拍照、三维重建

   手机拍照:获得物体的距离信息,虚化背景,可以更好的景深效果。以及一些VR产品都会用到双目视觉技术。

    双目立体视觉技术特别适用于3D重构,即确定某任意物体的3D形状。可以用来实现3D物体质量检测,也可用来确定3D物体的位置。(TOF技术,结构光技术更准确)

3.4高级辅助驾驶(ADAS)

     说到双目视觉,不得不提斯巴鲁—零式战斗机厂商,其他牛逼企业:日立、富士重工、理光、博世、大陆等。这家日本汽车厂商1989年开始对立体摄像头(即双目摄像头)技术进行研究,并于1999年把该技术应用到量产车的ADA系统之上。2008年5月,搭载第一代EyeSight系统的力狮正式上市。目前,该系统的装车量已经超过了100万辆。2017年3月,欧洲安全评鉴协会发布了新一系列包扩奥迪、丰田、路虎等在内的车型的碰撞测试结果,其中路虎的发现车型获得了五星。获得五星的路虎车型,搭载的主动安全系统中,前向采用了双目摄像头的方案,而这个方案也成为了它能脱颖而出的关键。


4.车载双目ADAS的挑战

     挑战很多,各个环节环环相扣,呈现在图像上总表现为场景点在左右图像中并非总是一致的。图像是唯一数据来源,准确率∝光线强弱。

 实时性:算法复杂度、存储空间的需求 。

 成本: 硬件逻辑资源的消耗 。

 结构:高精度装配工艺,环境温度等外力影响下,左右镜头位置不能发生较大相对位移。

 算法:遮挡、弱纹理和重复纹理区域、深度不连续区域难以获取高精度和高鲁棒的视差信息,自动标定算法不成熟。

 相机画质: 相机的噪声,增益,不同对比度等 。

 环境光线: 左右镜头的光照不同,环境光照过强过弱,不均匀等。

       

                                                          (来自mobileye 产品说明书)

以上内容如有错误或者偏差,请您直接指出,我会立即纠正。(掐腰大笑)

你可能感兴趣的:(车载ADAS,-CAMERA)