深度相机介绍

一、什么是深度相机

（五）深度相机：结构光、TOF、双目相机 - 知乎

传统的RGB彩色普通相机称为2D相机，只能拍摄相机视角内的物体，没有物体到相机的距离信息，只能凭感觉感知物体的远近，没有明确的数据。深度相机可获取物体到相机的距离信息，加之2D平面的X，Y坐标，可计算出每个点的三维坐标，以此我们可推断深度相机的应用，如三维重建、目标定位、识别

二、深度相机介绍

三种主流深度相机介绍 - 知乎

目前市面上常有的深度相机方案有以下三种。

(1)结构光(Structured-light)，代表公司有奥比中光，苹果(Prime Sense)，微软 Kinect-1，英特尔 RealSense, Mantis Vision 等。

(2)双目视觉(Stereo)，代表公司 Leap Motion， ZED， 大疆;

(3)光飞行时间法(TOF)，代表公司微软 Kinect-2，PMD，SoftKinect， 联想 Phab。

1、结构光深度相机

结构光相机原理

结构光，英文叫做 Structured light，其原理是基本原理是，通过近红外激光器，将具有一定结构特征的光线投射到被拍摄物体上，再由专门的红外摄像头进行采集。这种具备一定结构的光线，会因被摄物体的不同深度区域，而采集不同的图像相位信息，然后通过运算单元将这种结构的变化换算成深度信息，以此来获得三维结构。（光线结构发生的变化能反映为深度信息）

简单来说就是，通过光学手段获取被拍摄物体的三维结构，再将获取到的信息进行更深入的应用。通常采用特定波长的不可见的红外激光作为光源，它发射出来的光经过一定的编码，投影在物体上，通过一定算法来计算返回的编码图案的畸变来得到物体的位置和深度信息。

结构光相机的红外激光编码

根据编码图案不同一般有：条纹结构光，代表传感器 enshape ， 编码结构光，代表传感器 Mantis Vision, Realsense(F200), 散斑结构光 ，代表传感器 apple(primesense), 奥比中光。

典型的结构光相机的示意图

 从这篇文章了解结构光从发射道采集的过程

什么是结构光3D相机？ - 知乎

基于时间序列编码的结构光光栅示意图

 

光栅投射模组光路示意图

 

结构光#D相机结构示意图

 结构光相机特点

结构光（散斑）的优点主要有：

1）方案成熟，相机基线可以做的比较小，方便小型化。

2）资源消耗较低，单帧 IR 图就可计算出深度图，功耗低。

3）主动光源，夜晚也可使用。

4）在一定范围内精度高，分辨率高，分辨率可达 1280x1024,帧率可达 60FPS。

散斑结构光的缺点与结构光类似：

1）容易受环境光干扰，室外体验差。

2）随检测距离增加，精度会变差

2、TOF

TOF原理

顾名思义是测量光飞行时间来取得距离，具体而言就是通过给目标连续发射激光脉冲，然后用传感器 接收从反射光线，通过探测光脉冲的飞行往返时间来得到确切的目标物距离。因为光速激光，通过直接测 光飞行时间实际不可行，一般通过检测通过一定手段调制后的光波的相位偏移来实现。 TOF 法根据调制方法的不同，一般可以分为两种：脉冲调制（Pulsed Modulation）和连续波调制 （Continuous Wave Modulation）。脉冲调制需要非常高精度时钟进行测量，且需要发出高频高强度激光，目 前大多采用检测相位偏移办法来实现 TOF 功能。简单来说就是，发出一道经过处理的光，碰到物体以后会反射回来，捕捉来回的时间，因为已知光速和调制光的波长，所以能快速准确计算出到物体的距离。

TOF特点

因为 TOF 并非基于特征匹配，这样在测试距离变远时，精度也不会下降很快，目前无人驾驶以及一些高 端的消费类 Lidar 基本都是采用该方法来实现。 TOF 的优点主要有： 1）检测距离远。在激光能量够的情况下可达几十米。 2）受环境光干扰比较小。

但是 TOF 也有一些显而易见的问题：

1）对设备要求高，特别是时间测量模块。

2）资源消耗大。 该方案在检测相位偏移时需要多次采样积分，运算量大。

3）边缘精度低。

4）限于资源消耗和滤波，帧率和分辨率都没办法做到较高。

结构光与TOF的对比

对比来看，结构光技术功耗更小，技术更成熟，更适合静态场景。而TOF方案在远距离下噪声较低，同时拥有更高的FPS，因此更适合动态场景。

目前，结构光技术主要应用于解锁以及安全支付等方面，其应用距离受限。而TOF技术主要用于智能机后置摄影，并在AR、VR等领域（包括3D拍照、体感游戏等）有一定的作用。

3、双目立体视觉

双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，他是基于视差原理并利用成像设备 从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的 方法。

当然完整的双目深度计算非常复杂，主要涉及到左右相机的特征匹配，计算会非常消耗资源。 双目相机的主要优点有：

1）不需要结构光、TOF的发射器和接收器，硬件要求低，成本也低。普通 CMOS 相机即可。

2）室内外都适用。只要光线合适，不要太昏暗。

但是双目的缺点也是非常明显：

1）对环境光照非常敏感。光线变化导致图像偏差大，进而会导致匹配失败或精度低

2）不适用单调缺乏纹理的场景。双目视觉根据视觉特征进行图像匹配，没有特征会导致匹配失败。

3）计算复杂度高。该方法是纯视觉的方法，对算法要求高，计算量较大。

4）基线限制了测量范围。测量范围和基线（两个摄像头间距）成正比，导致无法小型化。

三、总结

从上面三种主流的 3D 相机成像方案来看，各有优劣，但是从实际应用场景来看，在非无人驾驶领域，结构 光，特别是散斑结构光的用途是最广泛。因为从精度，分辨率，还有应用场景的范围来看双目和 TOF 都没 有办法做到最大的平衡。而且对于结构光容易受环境光干扰，特别是太阳光影响问题，鉴于此类相机都有 红外激光发射模块，非常容易改造为主动双目来弥补该问题。

声明：本文为几片参考文章的整理，侵权立删！