车载双目ADAS（五）：双目视觉技术的原理、组成、应用与挑战

1. 双目视觉的原理

    采用一对相机代替双眼。通过左右图像获取各像素点的视差，然后基于三角测量原理重构三维信息，从而识别障碍物体。与单目视觉相比，双目视觉不依赖庞大的训练集，测距精度较高。

                              

                                                                           （引自：中科慧眼官网）

注：视差（disparity）是指同一物体在左右图中的横坐标之差。

                     

    深度距离和视差成反比，物体距离双目相机越远，视差越小，离相机越近，视差越大。 

           

---

2.双目视觉系统的组成

   图像采集：要求相机绝对的同步，图像画质清晰，高对比度。

   双目标定：以标定板为参照系，求得相机的内参（图像中心和畸变系数）和外参数（RT矩阵）。

   图像校正：依据相机内外参数对畸变图像进行平行等位校正，获得无畸变且平行等位的左右图像。

   双目匹配：对校正后的图像进行匹配，获得视差图像，供后续算法使用。

   ADAS功能：根据视差图进行障碍物检测预警和车道线检测。

---

3.双目视觉技术的应用

                  

3.1航空航天、无人机

    华盛顿大学与微软公司合作为火星卫星“探测者”号研制了宽基线立体视觉系统，使“探测者”号能够在火星上对地形进行精确的定位和导航；嫦娥二号搭载的玉兔号也配备双目立体相机，进行避障。

    大疆精灵无人机，辅助无人机更快更好地识别周围场景，便于它的飞行与避障，现在配备2对以上的双目相机。主要的原因可能是双目的优势：体积小，功耗小。

3.2工业非接触式检测

      高温环境下大型铸件在热处理过程中（上千度）尺寸的测量，对中型或大型尺寸的物体尤其有用。固定工位装配零件的检测，场景简单。（参见大恒公司的部分产品）

3.3手机拍照、三维重建

   手机拍照：获得物体的距离信息，虚化背景，可以更好的景深效果。以及一些VR产品都会用到双目视觉技术。

    双目立体视觉技术特别适用于3D重构，即确定某任意物体的3D形状。可以用来实现3D物体质量检测，也可用来确定3D物体的位置。（TOF技术，结构光技术更准确）

3.4高级辅助驾驶（ADAS）

     说到双目视觉，不得不提斯巴鲁—零式战斗机厂商，其他牛逼企业：日立、富士重工、理光、博世、大陆等。这家日本汽车厂商1989年开始对立体摄像头（即双目摄像头）技术进行研究，并于1999年把该技术应用到量产车的ADA系统之上。2008年5月，搭载第一代EyeSight系统的力狮正式上市。目前，该系统的装车量已经超过了100万辆。2017年3月，欧洲安全评鉴协会发布了新一系列包扩奥迪、丰田、路虎等在内的车型的碰撞测试结果，其中路虎的发现车型获得了五星。获得五星的路虎车型，搭载的主动安全系统中，前向采用了双目摄像头的方案，而这个方案也成为了它能脱颖而出的关键。

---

4.车载双目ADAS的挑战

     挑战很多，各个环节环环相扣，呈现在图像上总表现为场景点在左右图像中并非总是一致的。图像是唯一数据来源，准确率∝光线强弱。

 实时性：算法复杂度、存储空间的需求 。

 成本： 硬件逻辑资源的消耗 。

 结构：高精度装配工艺，环境温度等外力影响下，左右镜头位置不能发生较大相对位移。

 算法：遮挡、弱纹理和重复纹理区域、深度不连续区域难以获取高精度和高鲁棒的视差信息，自动标定算法不成熟。

 相机画质： 相机的噪声，增益，不同对比度等 。

 环境光线： 左右镜头的光照不同，环境光照过强过弱，不均匀等。

       

                                                          （来自mobileye 产品说明书）

以上内容如有错误或者偏差，请您直接指出，我会立即纠正。（掐腰大笑）