车载双目ADAS（六）：结构光深度相机

近年来，深度相机在三维测量领域的应用日益广泛，具有识别能力强、检测精度较高、可靠性好、抗干扰能力强、实时高效等特点。目前深度相机主要有三类：飞行时间（TOF），RGB双目和结构光法。

                                                                          三类深度相机的比较

相机类型	TOF飞行时间	RGB双目	结构光   （单目/双目）
测距方式	主动式	被动式	主动式
工作原理	发射激光信号遇阻后回波时间推算，根据飞行时间直接测量	左右相机的拍摄图像进行匹配，由三角测量测量深度	主动投影编码图案，根据编码图案计算深度。
测量范围	受光源强度限制，测量范围几十米以内，精度在毫米级别	受相机的极限长度等因素影响，测量范围可达百米，精度在厘米级别	受光斑图案影响，测量距离10m以内，精度高 1m处毫米级别
特点	不受光照和物体纹理影响，多重反射影响，深度图像分辨率较低，精度较低	复杂度高，实时性差，受光线和物体纹理影响，夜晚无法使用	不易受物体纹理影响，容易受反光影响。
帧率	可达百fps	取决于计算平台和算法	几十fps
功耗	很高，需要全面照射	取决于计算平台和算法	中等，需要投射图案
公司/产品	微软 Kinect-2，PMD， SoftKinect，联想Phab	Leap Motion，ZED，大疆	苹果(Prime Sense)， 微软 Kinect-1，英特尔RealSense, Mantis Vision

---

结构光深度相机的应用

---

结构光深度相机的分类

      主要分为单目结构光和双目结构光相机。

       单目结构光容易受光照的影响，在室外环境下，如果是晴天，激光器发出的编码光斑容易太阳光淹没掉。双目结构光可以在室内环境下使用结构光测量深度信息，在室外光照导致结构光失效的情况下转为纯双目的方式，其抗环境干扰能力、可靠性更强，深度图质量有更大提升空间。此外，结构光方案中的激光器寿命较短，难以满足7*24小时的长时间工作要求，其长时间连续工作很容易损坏。因为单目镜头和激光器需要进行精确的标定，一旦损坏，替换激光器时重新进行两者的标定是非常困难的。

单目结构光的原理 

      通常采用特定波长的不可见的红外激光作为光源，它发射出来的光经过一定的编码投影在物体上，通过一定算法来计算返回的编码图案的畸变来得到物体的位置和深度信息。 根据编码图案不同一般有条纹结构光enshape ，编码结构光Mantis Vision, Realsense(F200), 散斑结构光apple(primesense)。由于结构光主动投射编码光，因而非常适合在光照不足（甚至无光）、缺乏纹理的场景使用。结构光投影图案一般经过精心设计，所以在一定范围内可以达到较高的测量精度。技术成熟，深度图像可以做到相对较高的分辨率。

双目结构光的原理 

      双目结构光，就是纯双目和单目结构光结合的解决方案，结构光等于是给物体加了纹理，计算深度依然采用视差的原理。

---

主要生产厂家

     国外结构光方案开发的公司有Prime Sense(苹果)、英特尔，以色列Mantis Vision（小米）；

     国内结构光方案开发的公司有深圳奥比中光科技有限公司（单目结构光OPPO），南京华捷艾米软件有限公司（单目结构光），丘钛科技，上海图漾信息科技有限公司（双目结构光）。

                                                                       结构光相机配置对比

	微软Kinect V1	华硕Xtion Pro Live	奥比中光ASTRA Mini S	英特尔Realsense D435	图漾DS460-W	华捷艾米A100
彩色图像	640×480/30fps	640×480/30fps	1280x960@7FPS 640x480@30FPS 320x240@30FPS	1280x960@90FPS (专用的处理芯片)		1080P
深度图像	320×240/30fps	320×240/30fps	1280x1024@7FPS 640x480@30FPS 320x240@30FPS 160x120@30FPS	1920*1080@30 FPS	VGA 30fps	640*480
检测范围	0.8m-3.8m	0.8m - 3.5m	0.35–2.0/ 1m: ±1-3mm	0.2m-10m	0.24-2m	0.8-6

---

某双目结构光相机:

                    

                               红外图像 Left                                                      红外图像 Right

                                          

                                                                         深度图

 

       双目结构光相机仍然采用红外补光，左右图像匹配的技术，该类结构光相机依然无法准确获取吸光反光和透明等区域的深度信息。并且深度图像无效区域面积过大，分布随机，算法滤波严重，物体边界平滑模糊。集中体现在：

1. 双目视觉中，物体离双目越近，深度不连续区域的遮挡区域越大。如果场景近景较多，导致在深度不连续区域出现“边界膨胀”和“边界黑洞”现象。
2. 在反光、吸光和透明区域，结构光投射效果大打折扣，无法准确获取无纹理或重复纹理的区域的深度。
3. 为了保证有效深度的精度，兼顾FPGA资源损耗，算法采用了较为谨慎的滤波策略，导致边界特征较为平滑模糊。

某单目结构光相机：

Baseline	40mm
深度距离	0.3-1.5m

精度	1m:±3mm
深度 FOV	H68 V45
彩色 FOV	H71 V56