三维重建的步骤

（1） 图像获取：在进行图像处理之前，先要用摄像机获取三维物体的二维图像。光照条件、相机的几何特性等对后续的图像处理造成很大的影响。

（2）摄像机标定：通过摄像机标定来建立有效的成像模型，求解出摄像机的内外参数，这样就可以结合图像的匹配结果得到空间中的三维点坐标，从而达到进行三维重建的目的。

（3）特征提取：特征主要包括特征点、特征线和区域。大多数情况下都是以特征点为匹配基元，特征点以何种形式提取与用何种匹配策略紧密联系。因此在进行特征点的提取时需要先确定用哪种匹配方法。

特征点提取算法可以总结为：基于方向导数的方法，基于图像亮度对比关系的方法，基于数学形态学的方法三种。

（4）立体匹配：立体匹配是指根据所提取的特征来建立图像对之间的一种对应关系，也就是将同一物理空间点在两幅不同图像中的成像点进行一一对应起来。在进行匹配时要注意场景中一些因素的干扰，比如光照条件、噪声干扰、景物几何形状畸变、表面物理特性以及摄像机机特性等诸多变化因素。

（5）三维重建：有了比较精确的匹配结果，结合摄像机标定的内外参数，就可以恢复出三维场景信息。由于三维重建精度受匹配精度，摄像机的内外参数误差等因素的影响，因此首先需要做好前面几个步骤的工作，使得各个环节的精度高，误差小，这样才能设计出一个比较精确的立体视觉系统。

 

from：三维重建 

 

基于深度相机的三维重建是一个非常流行、低成本的重建方案。基于Kinect一代是一种低成本的重建方案，图1是Kinect一代结构图。红外发射器发射红外线模板，通过红外CMOS获取反射红外光，采用光编码方式获得深度图。（Kinect二代采用ToF飞行时间法）。

为了能对深度相机的三维重建技术有深入了解，现对算法过程进行详细描述：

深度数据获取---去躁；
生成点云---计算摄像机坐标系的深度信息，进而变换到全局坐标系，计算法向量；
预测3D模型；
结合2，3计算当前深度场景和预测模型的位姿---（ICP最小二乘法计算变换矩阵，法向量误差）；
点云融合（TSDF，晶体网格化）---另一种是三角网格化；
可视化（场景渲染，三角网格（Gouraud着色)）；
纹理贴图（RGB图像->点云数据的映射矩阵M）。

from: https://blog.csdn.net/wangjunchao001/article/details/81268624 
 

 

1 从多张图片重建3D模型   

主要流程

1.1 SIFT：计算图片每个像素点的特征（常见的用SIFT算子）

1.2 SFM：对多张图片像素做匹配对应，通过上步得到的特征，从而估计相机参数，得到稀疏的3D信息

1.3 CMVS/PMVS：根据上步得到的相机参数，做稠密重建，得到点云

1.4 对上步的点云做后处理，得到网格，去除噪声点等。
 

2 双目摄像头的3D重建

3 Kinect的三维重建

仅就实时场景三维重建这项应用而言，由开源机器人研发公司Willow Garage在2011年发起的Point Cloud Libary (PCL)就吸引了全世界数十家著名科研机构参与、十余家公司提供经济支持。PCL是一项集点云获取与处理、滤波、特征提取、关键点标定、表面重建和点云配准以及点云融合等功能为一体的开源点云处理库，PCL使用OpenNI作为系统IO接口，实际成为KinectFusion的开源实现项目