深度相机原理和优势对比

目前的深度相机根据其工作原理可以分为三种:TOF、RGB双目、结构光

TOF简介

TOF是Time of flight的简写,直译为飞行时间的意思。所谓飞行时间法3D成像,是通过给目标连续发送光脉冲,然后用传感器接收从物体返回的光,通过探测光脉冲的飞行(往返)时间来得到目标物距离。这种技术跟3D激光传感器原理基本类似,只不过3D激光传感器是逐点扫描,而TOF相机则是同时得到整幅图像的深度信息。TOF相机与普通机器视觉成像过程也有类似之处,都是由光源、光学部件、传感器、控制电路以及处理电路等几部单元组成。与同属于非嵌入式三维探测、适用领域非常类似的双目测量系统相比,TOF相机具有根本不同的3D成像机理。双目立体测量通过左右立体像对匹配后,再经过三角测量法来进行立体探测,而TOF相机是通过入、反射光探测来获取的目标距离获取。微软kinect2即是基于TOF原理的深度相机。Kinect2的TOF方案深度图分辨率只有512x424。

TOF 相机目前的主要应用领域包括:

1、物流行业:通过 TOF 相机迅速获得包裹的抛重(即体积),来优化装箱和进行运费评估;

2、安防和监控:进行 People counting 确定进入人数不超过上限;通过对人流或复杂交通系统的counting,实现对安防系统的统计分析设计;敏感地区的检测对象监视;

3、机器视觉:工业定位、工业引导和体积预估;替代工位上占用大量空间的、基于红外光进行安全生产控制的设备;

4、机器人:在自动驾驶领域提供更好的避障信息;机器人在安装、质量控制、原料拣选应用上的引导;

5、医疗和生物:足部矫形建模、病人活动/状态监控、手术辅助、面部3D 识别;

6、互动娱乐:动作姿势探测、表情识别、娱乐广告。

二、RGB双目

RGB双目指的是目前大家都在热点研究的,仅依靠双相机的视差获取深度信息的方式。RGB双目相机因为非常依赖纯图像特征匹配,所以在光照较暗或者过度曝光的情况下效果都非常差,另外如果被测场景本身缺乏纹理,也很难进行特征提取和匹配。

三、结构光

以激光三维扫描仪为例,其原理是通过发射激光来扫描被测物,以获取被测物体表面的三维坐标。三维激光扫描技术又被称为实景复制技术,具有高效率、高精度的测量优势。有人说,三维激光扫描是继GPS技术以来测绘领域的又一次技术革命。三维激光扫描仪被广泛应用于结构测量、建筑测量、船舶制造、铁路以及工程的建设等领域。近些年来,三维激光扫描仪已经从固定朝移动方向发展,最具代表性的就是车载三维激光扫描仪和机载三维激光雷达。

三种主流方案对比
方案 双目 结构光 TOF
原理 双目匹配,三角测量 激光散斑编码 反射时差
分辨率 中高
精度 中高
帧率
抗光照(原理角度)
硬件成本
算法开发难度
内外参数标定 需要 需要

三种相机的参数对比:

从分辨率、帧率、软件复杂度、功耗等方面考虑

相机类型 TOF RGB双目 结构光
工作原理 根据光的飞行时间直接测量 RGB图像特征点匹配,三角测量间接计算 主动投射已知编码图案,提升特征匹配效果
测量精度 最高可达厘米级精度 近距离可达毫米级精度 近距离内能够达到高精度0.01mm-1mm
测量范围 可以测量较远距离,一般为100m以内 由于基线限制,一般只能测量较近的距离,距离越远,测距越不准。一般为2m(基线10mm)以内 测量距离一般为10m以内
测距方式 主动式 被动式 主动式
影响因素 不受光照变化和物体纹理影响,受多重反射影响 受光照变化和物体纹理影响很大,夜晚无法使用 不受光照变化和物体纹理影响,受反光影响
户外工作 功率小的话,影响较大 无影响 有影响,和编码图案有关

1)分辨率

TOF方案深度图分辨率很难提高,一般都达不到VGA(640×480)分辨率。比如Kinect2的TOF方案深度图分辨率只有512×424。而Google和联想合作的PHAB2手机的后置TOF深度相机分辨率只有224×171。TOF方案受物理器件的限制,分辨率很难做到接近VGA的,即使做到,也会和功耗呈指数倍增长。结构光的分辨率在较近使用范围内,结构光方案的分辨率会大大高于TOF方案。比如目前结构光方案的深度图最高可以做到1080p左右的分辨率了。

(2)帧率

帧率的话,TOF方案可以达到非常高的帧率,差不多上百fps吧。结构光方案帧率会低点,典型的是30fps,不过这也基本够用了。

3)软件复杂度

结构光因为需要对编码的结构光进行解码,所以复杂度要比直接测距的TOF高一些。

(4)功耗

TOF是激光全面照射,而结构光是只照射其中局部区域,比如PrimeSense的伪随机散斑图案,只覆盖了不到十分之一的空间。另外,TOF发射的是高频调制脉冲,而结构光投射图案并不需要高频调制,所以结构光的功耗要比TOF低很多。还是以伪随机散斑结构光为例,结构光方案功耗只有TOF的十分之一不到吧。

下面是三种方案的分辨率,帧率,软件复杂度和功耗方面的对比效果

相机类型 TOF 结构光 RGB双目
分辨率 低于640x480 可达1080x720 可达2K分辨率
帧率 较高,可达上百fps 一般30fps 从高到低都有
软件复杂度 较低 中等 很高
功耗 很高,因为需要全面照射 中等,因为需要投射图案,执照局部区域 较低,因为纯软件

结构光方案还有一个优势在于技术成熟,PrimeSense很早就把结构光技术用在kinect一代产品中了。目前结构光技术有如下几种变种:一种是单目IR+投影红外点阵,另外一种是双目IR+投影红外点阵,这样相当于结构光+双目立体融合了,深度测量效果会比前者好一些,比如Intel RealSense R200采用的就是双目IR+投影红外点阵,不足之处就是体积较大。而单目IR+投影红外点阵的方案虽然体积较小,但是效果会差一点。

(5)计算复杂度

计算方式也分几种:一是直接用ASIC(专用集成电路)进行计算,成本稍微高一点,但是处理速度快,支持高帧率和高分辨率深度相机,关键是比通用芯片功耗低。二是DSP+软件算法,成本跟用ASIC差不多,但支持不了高帧率高分辨率,功耗比ASIC稍高。三是直接用手机的AP(Application Processor)进行纯软件计算,这个不需要额外增加硬件成本,但是比较消耗AP的计算资源。同样也不支持高帧率高分辨率,功耗比较大。

结构光技术分析
类别 方案 特点
相机光学结构 单目IR+投影红外点阵 体积小
双目IR+投影红外点阵 体积大
单目IR+投影相移条纹 体积大
计算资源 ASIC 支持高帧率/高分辨率,低功耗,成本稍微高
DSP+软件算法 支持低帧率/低分辨率,功率中等,成本中等
AP+软件算法 支持低帧率/低分变率,功耗高,成本较大

iPhone X的深度相机技术方案:结构光原理的深度相机。具体来说是:单目IR+投影红外点阵+ASIC方案。该方案在深度分辨率、深度测量精度上有较大优势,实时性处理和全天候工作也都有保障,功耗也相对较低,就是成本稍高了一些。

深度相机原理和优势对比_第1张图片

 总结:

1.双目方案,最大的问题在于实现算法需要很高的计算资源,导致实时性很差,而且基本跟分辨率,检测精度挂钩。也就是说,分辨率越高,要求精度越高,则计算越复杂,同时,纯双目方案受光照,物体纹理性质影响。

2.结构光方案,目的就是为了解决双目中匹配算法的复杂度和鲁棒性问题而提出,该方案解决了大多数环境下双目的上述问题。但是,在强光下,结构光核心技术激光散斑会被淹没,因此,不合适室外。同时,在长时间监控方面,激光发射设备容易坏,重新更换设备后,需要重新标定。

3.TOF方案,传感器技术不是很成熟,因此,分辨率较低,成本高,但由于其原理与另外两种完全不同,实时性高,不需要额外增加计算资源,几乎无算法开发工作量,是未来发展的一个重要方向。

你可能感兴趣的:(python,三维重建,opencv,深度相机原理,三维重建,点云)