关于深度相机与双目相机的初步了解

                          本文属于个人笔记，不具备参考价值  ，请勿使用 

文章参考链接1

文章参考链接2

一、深度相机的介绍

 随着机器视觉与人工智能等技术的飞速发展，采用场景建模，物体识别，环境识别等技术应用越来越广泛，与传统的2D相机不同，深度相机可以通过拍摄空间来获得景深信息，从而获得目标的3D信息，构建3D模型，这也是与普通相机最大的差别。错略区分，深度相机包括3D结构光，TOF,以及双目RGB相机。

1、3D结构光

 结构光的提出也是为了解决RGB双目相机所存在的问题，（如，RGB双目很依赖图像的特征，受光照、纹理、环境等影响），结构光法不依赖图像中物体的颜色和纹理，采用主动投影已知图案的方法来实现快速鲁棒的匹配特征点。如下图所示，投射器投射的是带有已知编码图案的光源。

单从光源本身理解什么是结构光：就是带有一定结构的，而且我们自己是知道光源的这种结构的。

 结构光三维视觉是基于光学三角测量原理。光学投射器将一定模式的结构光透射于物体表面，在表面上形成由被测物体表面形状所调制的光条三维图像。该三维图像由处于另一位置的摄像机探测，从而获得光条二维畸变图像。光条的畸变程度取决于光学投射器与摄像机之间的相对位置和物体表面形状轮廓（高度）。直观上，沿着光条显示出的位移（或者偏移）与物体表面高度成比例，扭结表示了平面的变化，不连续显示了表面的物理间隙。当光学投射器与摄像机之间的相对位置一定时，由畸变的二维光条图像坐标便可重现物体表面三维形状轮廓。由光学投射器、摄像机、计算机系统即构成了结构光三维视觉系统。

此处不得不提起激光三角法(属于结构光原理)

根据光学投射器所投射的光束模式的不同，结构光模式又可分为点结构光模式、线结构光模式、多线结构光模式、面结构光模式、相位法等。
 

2、TOF

 顾名思义，time of flight(飞行时间)，其实就是激光发射器发出的光从发射出去瞬间到碰到物体反射回来再到接收器的瞬间，这段时间光的飞行时间，已知光速和调制光的波长，通过距离计算公式就可以知道物体各个表面的深度信息。
TOF法根据调制方法的不同，一般可以分为两种：脉冲调制（Pulsed Modulation）和连续波调制（Continuous Wave Modulation）。如下图所示。

脉冲调制

连续波调制

 TOF深度相机对时间测量的精度要求较高，即使采用最高精度的电子元器件，也很难达到毫米级的精度。因此，在近距离测量领域，尤其是1m范围内，TOF深度相机的精度与其他深度相机相比还具有较大的差距，这限制它在近距离高精度领域的应用。但是，TOF深度相机可以通过调节发射脉冲的频率改变相机测量距离；TOF深度相机与基于特征匹配原理的深度相机不同，其测量精度不会随着测量距离的增大而降低，其测量误差在整个测量范围内基本上是固定的；TOF深度相机抗干扰能力也较强。因此，在测量距离要求比较远的场合（如无人驾驶），TOF深度相机具有非常明显的优势。

二、双目相机的介绍

 可以这样理解,就和人的两个眼睛一样，各种两个摄像头的手机大都会用这种方法来获得深度信息，从而得到三维图像。但深度受到两个摄像头之间距离的限制。

1、视差图

  视差图：双目立体视觉融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图像。

对于视差的理解可以自己体验一下：将手指头放在离眼睛不同距离的位置，并轮换睁、闭左右眼，可以发现手指在不同距离的位置，视觉差也不同，且距离越近，视差越大。

2、深度图

 提到视差图，就有深度图，深度图像也叫距离影像，是指将从图像采集器到场景中各点的距离（深度）值作为像素值的图像。

3、点云

 点云：当一束激光照射到物体表面时，所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行扫描，便会边扫描边记录到反射的激光点信息，由于扫描极为精细，则能够得到大量的激光点，因而就可形成激光点云。深度图与点云的区别，深度图像经过坐标转换可以计算为点云数据；有规则及必要信息的点云数据可以反算为深度图像。两者在一定条件下是可以相互转化的。
 双目立体视觉由三角法原理进行三维信息的获取，即由两个摄像机的图像平面和被测物体之间构成一个三角形。已知两个摄像机之间的位置关系和物体在左右图像中的坐标，便可以获得两摄像机公共视场内物体的三维尺寸及空间物体特征点的三维坐标。所以，双目视觉系统一般由两个摄像机构成。

深度和视差成反比，见下图

三、关于三种深度相机的优劣

1、参数对比

2、从分辨率、帧率、软件复杂度、功耗对比

• 分辨率
   TOF方案深度图分辨率很难提高，一般都达不到VGA（640x480）分辨率。比如Kinect2的TOF方案深度图分辨率只有512x424。TOF方案受物理器件的限制，分辨率很难做到接近VGA的，即使做到，也会和功耗呈指数倍增长。结构光的分辨率 在较近使用范围内，结构光方案的分辨率会大大高于TOF方案。比如目前结构光方案的深度图最高可以做到1080p左右的分辨率了。
• 帧率
  帧率的话，TOF方案可以达到非常高的帧率，差不多上百fps吧。结构光方案帧率会低点，典型的是30fps，不过这也基本够用了。
• 软件复杂度
  结构光因为需要对编码的结构光进行解码，所以复杂度要比直接测距的TOF高一些。
• 功耗
   TOF是激光全面照射，而结构光是只照射其中局部区域，比如PrimeSense的伪随机散斑图案，只覆盖了不到十分之一的空间。另外，TOF发射的是高频调制脉冲，而结构光投射图案并不需要高频调制，所以结构光的功耗要比TOF低很多。还是以伪随机散斑结构光为例，结构光方案功耗只有TOF的十分之一不到吧。
• 下面是三种方案在分辨率，帧率，软件复杂度和功耗方面的对比结果。