三维重建技术概论总结，入门必看~

作者||童虎
原文地址||3D视觉开发者社区
✨如果觉得文章内容不错，别忘了三连支持下哦~

1.重建流程

结合了网络上的若干文章加以总结。三维重建一般使用多幅深度图进行处理后得到三维模型，相邻的深度图之间必须有重叠区域，如果要增加彩色贴图还需要与深度图对应的彩色图。重建流程如下所示：

1.1 深度图增强和点云计算

受到设备分辨率等限制，采集到的深度信息也存在着许多缺点。为了获得更好的三维模型，必须对深度图像进行去噪和修复等图像增强过程。深度图像中像素点的值是深度信息，表示物体表面到传感器之间的直线距离，以毫米为单位。以摄像机成像原理为基础，可是使用相机内参计算深度图中的像素点在世界坐标系下的坐标，即点云。下图展示了深度图转点云的结果：

1.2 公共特征点的检测与匹配

对于多帧通过不同角度，位置拍摄的景物图像，各帧之间包含一定的公共部分，首先需要提取出这些部分中有代表的特征点并一一对应，从而为接下来的参数估计做准备。下图展示了使用SIFT特征提取两幅图中的匹配点(来自网络）。

1.3 旋转平移参数估计和图像配准

为了利用深度图像进行三维重建，需要对图像进行分析，求解各帧之间的变换参数（如使用经典的ICP方法）。深度图像的配准是以场景的公共部分为基准，计算出相应的平移向量与旋转矩阵，从而把不同时间、角度、照度获取的多帧图像叠加匹配到统一的坐标系中，同时消除冗余信息。点云配准除了会制约三维重建的速度，也会影响到最终模型的精细程度和全局效果。因此必须提升点云配准算法的性能。

1.4 表面生成

通过上面的步骤可以得到完整的三维点云，但是需要对点云进行三角剖分获得三角面片，才能形成最终的三维模型，下图展示了点云到三角面片的过程。

2.相关概念

这里介绍了三维重建相关的概念，基本都是从网上拷的，还有一些待完善。

2.1 彩色图像与深度图像

彩色图像也叫作RGB图像，R、G、B三个分量对应于红、绿、蓝三个通道的颜色，它们的叠加组成了图像像素的不同灰度级。RGB颜色空间是构成多彩现实世界的基础。深度图像又被称为距离图像，与灰度图像中像素点存储亮度值不同，其像素点存储的是该点到相机的距离，即深度值。深度值指的目标物体与测量器材之间的距离。由于深度值的大小只与距离有关，而与环境、光线、方向等因素无关，所以深度图像能够真实准确的体现景物的几何深度信息。通过建立物体的空间模型，能够为深层次的计算机视觉应用提供更坚实的基础。

2.2 点云数据

扫描资料以点的形式记录，每一个点包含有三维坐标，有些可能含有颜色信息（RGB）或反射强度信息（Intensity）。点云数据除了具有几何位置以外，有的还有颜色信息。颜色信息通常是通过相机获取彩色影像，然后将对应位置的像素的颜色信息（RGB）赋予点云中对应的点。强度信息的获取是激光扫描仪接收装置采集到的回波强度，此强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关。

版权声明：本文仅做学术分享，版权归原作者所有，若涉及侵权内容请联系删文

3D视觉开发者社区是由奥比中光给所有开发者打造的分享与交流平台，旨在将3D视觉技术开放给开发者。平台为开发者提供3D视觉领域免费课程、奥比中光独家资源与专业技术支持。点击加入3D视觉开发者社区，和开发者们一起讨论分享吧~

也可移步微信关注官方公众号 3D视觉开发者社区 ，获取更多干货知识哦！