深度相机介绍（TOF、RGB双目、结构光参数对比）

一、深度相机的介绍

        随着计算机视觉与人工智能技术的飞速发展，采用深度相机进行场景三维重建、目标检测、环境感知等应用越来越广泛，与传统的2D相机不同，深度相机可以通过拍摄空间来获得景深信息，从而获得目标的3D信息，构建3D模型，这也是与普通相机最大的差别。目前的深度相机根据其工作原理可以分为三种：TOF、RGB双目、结构光，在机器人、人机交互以及其他工业领域中等到了广泛应用。如下图所示为三种相机的参数差异对比：

相机类型	TOF	RGB双目	结构光
测距方式	主动式	被动式	主动式
工作原理	根据光的飞行时间直接测量	RGB图像特征点匹配，三角测量间接计算	主动投射已知的编码图案，提升特征匹配效果
测量精度	最毫米级高可达厘米级	近距离可达	近距离达到高精度0.01-1 mm
测量范围	＜100 m	由于基线的限制，一般只能测量较近的距离，距离较远时，测距越不准确。 一般2 m（基线10 mm）以内	小于10 m
影响因素	不受光照变化和物体纹理影响，受多重反射影响	受光照变化和物体纹理影响很大，夜晚无法使用	不受光照变化和物体纹理反射影响，收反光影响
户外工作	功率小，则影响较大	无影响	有影响，与编码图设计有关
分辨率	低于640×480	可达2K分辨率	可达1080×720
帧率	可达上百fps	从高到底都有	一般30fps
软件复杂度	较低	很高	中等
功耗	很高，需全面照射	较低，纯软件	中等，投射图案，照射局部区域

市面上常见的深度相机代表公司：

（1）结构光(Structured-light)，代表公司有奥比中光，苹果(Prime Sense)，微软 Kinect-1，英特尔 RealSense, Mantis Vision等。

（2）双目视觉(Stereo)，代表公司Leap Motion，ZED，大疆等。

（3）光飞行时间法(TOF)，代表公司微软Kinect-2，PMD，SoftKinect，联想Phab等。

二、深度相机工作原理简介

1.RGB双目

        双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，他是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。

双目立体视觉系统的四个基本步骤：

①相机标定主要包含两部分内容: 单相机的内参标定和双目相机的外参标定，前者可以获得每个相机的焦距、光心、畸变系数等参数，后者可以获得双目相机之间的相机坐标系的旋转、平移关系。

②立体校正过程是根据相机的标定结果，对两个相机采集到的原始图像进行校正，校正后的两张图像位于同一平面且互相平行，即图像的每行像素之间共线。

③立体匹配过程是根据立体校正后的图像，进行像素点的匹配，匹配成功的点表示真实世界中的某点在这两个图像中的不同位置。

④深度计算过程是根据立体匹配结果得到视差图，通过视差图计算每个像素对应的深度，从而获得深度图。

注意：RGB双目相机因为非常依赖纯图像特征匹配，所以在光照较暗或者过度曝光的情况下效果都非常差，另外如果被测场景本身缺乏纹理，也很难进行特征提取和匹配。

2.结构光

       结构光，英文叫做 Structured light，基本原理是通过近红外激光器，将具有一定结构特征的光线投射到被拍摄物体上，再由专门的红外摄像头进行采集。这种具备一定结构的光线，会因被摄物体的不同深度区域，而采集不同的图像相位信息，然后通过运算单元将这种结构的变化换算成深度信息，以此来获得三维结构。简单来说就是，通过光学手段获取被拍摄物体的三维结构，再将获取到的信息进行更深入的应用。通常采用特定波长的不可见的红外激光作为光源，它发射出来的光经过一定的编码投影在物体上，通过一定算法来计算返回的编码图案的畸变来得到物体的位置和深度信息。

注意：目前结构光技术有如下几种变种：一种是单目IR+投影红外点阵，另外一种是双目IR+投影红外点阵，这样相当于结构光+双目立体融合了，深度测量效果会比前者好一些，比如Intel RealSense R200采用的就是双目IR+投影红外点阵，不足之处就是体积较大。而单目IR+投影红外点阵的方案虽然体积较小，但是效果会差一点。

3.TOF

        TOF：Time of flight（飞行时间）。其实ToF是一种测距的方法，ToF相机一般需要使用特定人造光源进行测量，即通过测量超声波、微波、光等信号在发射器和反射器之间的“飞行时间”来计算出两者之间距离。能够实现ToF测距的传感器就是ToF传感器。ToF传感器种类很多，使用较多的是通过红外或者激光进行测距的ToF传感器。

优点：测量精确快速，测量距离长，安全，成本低

缺点：会出现散射光现象，会出现多重反射现象，抗强环境光能力弱。