基于深度相机的三维重建技术

三维重建（3D Reconstruction）技术一直是计算机图形学和计算机视觉领域的一个热点课题。早期的三维重建技术通常以二维图像作为输入，重建出场景中的三维模型。但是，受限于输入的数据，重建出的三维模型通常不够完整，而且真实感较低。随着各种面向普通消费者的深度相机（depth camera）的出现，基于深度相机的三维扫描和重建技术得到了飞速发展。以微软的Kinect，华硕的XTion以及因特尔的RealSense等为代表的深度相机造价低廉，体积适当，操作方便，并且易于研究者和工程师进行开发。三维重建技术也是增强现实（Augmented Reality，简称AR）技术的基础，经过扫描重建后的三维模型可以直接应用到AR或VR的场景中。本文将简单介绍基于深度相机的三维重建技术的基本原理及其应用。三维重建

简单地说，三维重建就是从输入数据中建立3D模型。其中，在面向消费者层面的深度相机出现以前，三维重建技术的输入数据通常只有RGB图像（图1左）。通过对物体的不同角度拍摄的RGB图像，使用相关的计算机图形学和视觉技术，我们便可以重建出该物体的三维模型。不过，早期的三维重建技术得到的模型精度往往较低，且技术的适用范围有限。消费者层面的深度相机的出现为三维重建技术提供了深度图像（depth image）数据，大大降低了重建的难度，并使得三维重建技术可以应用到几乎任何现实场景中（图1右）。由于基于深度相机的三维重建技术所使用的数据是RGB图像和深度图像，因此，这类技术通常也被称为基于RGBD数据的三维重建技术（D指代depth）。图1：基于RGB图像的三维重建，以及基于RGB图像和深度图像的三维重建深度值和三维数据

在介绍基于深度相机的三维重建技术之前，首先需要了解深度图像中的数据的具体含义。对于现实场景中的点，深度相机扫描得到的每一帧数据不仅包括了场景中的点的彩色RGB图像，还包括每个点到深度相机所在的垂直平面的距离值。这个距离值被称为深度值（depth），这些深度值共同组成了这一帧的深度图像（图1右）。也就是说，深度图像可以看做是一副灰度图像，其中图像中每个点的灰度值代表了这个点的深度值，即该点在现实中的位置到相机所在垂直平面的真实距离。图2简单说明了RGB图像和深度图像的关系。