论文中图像三维重建的思路

机器人领域：三维重建主要有两类应用，一类是移动机器人的定位导航地图构建SLAM（第一篇）另一类是机器人的抓取任务，待抓取物体的三维模型构建（第二篇）

基于激光雷达的三维地图实时重建方法

对象：移动机器人（是比较配的）
重建步骤分为三步：
（1）移动机器人状态采集
（2）激光雷达信号去噪
（3）导航三维地图重建

状态信息的采集

激光雷达传感器采集信息

使用多个激光雷达传感器将相同目标状态信息进行实时采集，由于具有一定的重复性，设置一个阈值T，然后将采集到的信息进行相似度运算处理，进行取舍 。

移动机器人位置变化计算模型

这属于对象的本身特征
经过圆弧模型分析机器人移动轨迹

基于经验模态分解的激光雷达传感器的去噪

突变检测与处理

计算激光雷达传感数据y(t)梯度与梯度的幅值Vmax。
将Vmax设为阈值实施梯度信号检测。
激光雷达传感数据突变点及高于阈值的位置点

2.去噪
对传感器原始数据y(t)进行去噪及对x(t)的去噪，通过经验模态分解将x（t）分解为两个本征模态函数
删除1阶函数便能完成去噪。

导航三维地图重建

通过网格地图将移动机器人运行环境实施三维描述，针对移动机器人运行环境的特征，将局部地图实施障碍和非障碍范围实施分类，并进行实时更新。

障碍范围检测算法

第二类 基于视觉的三维重建

• 双目视觉传感器的三维重建虽然将原有抛物线拟合的方法加入到三维重建系统中，提高了三维重建系统精度，但在产生图像的三维结构中存在错误的立体匹配，使得噪点较多

面向家庭的机器人视觉抓取考虑到1.场景小2.玩偶、书本难以用手抓取3.精度实时性有一定要求
故采用单目三维重建系统。同时,在传统单目三维重建系统上增加了基于连通区域滤波器等后处理模块,用于消除立体四配中错误恢复的三维结构，保证重建效果和精度。此外,算法基于GPU并行处理技术设计和实现，加速立体四配过程，确保三维重建系统实时性。

那为啥不直接在双目上进行立体匹配错误的消除？
单目优点：易于标定识别，缺点：并不能通过测量知道物体的真实大小
双目 优点：测量范围广 。 缺点：配置与标定较为复杂深度量程和精度受到双目基线与分辨率限制。总的来说单目会更优一些

单目三维重建系统算法框架

双目三维重建系统建立在的理想双目相机成像模型下,即
左右两个相机位于同一平面(光轴平行),且相机固有参数。可推出如下公式,如图所示。

Z=(f*b)/x2-x1

式中:x2-x1——视差,b——相机左右目的光心O1和O2间的距离，p1——空间点P在左相机成像的像素,p2——空间点P在右相机成像的像素。空间点P的深度2与视差成反比,即深度图
的计算与视差图的计算具有反比对应关系。

虽然单目相机缺少物理意义上的双目结构，但可以组和当前相机所拍摄的图像与历史时刻所拍摄的图像组成从运动中构造双目。及提出单目三维重建算法

在单目三维重建系统中,首先根据SFM算法恢复不同时刻相机 间的相对运动关系,根据几何关系选择相机当前帧和过去某一帧组成虚拟双目 。根据虚拟双目间的几何关系和图像像素相似性,计算当前帧视场内的场景点云 。经过坐标系变换将不同时刻相机帧重建点云拼接为完整的物体模型。系统基于SFM算法恢复相机运动,后应用TSDF方法°完成坐标系对齐功能。

单目三维重建系统的三维结构恢复

根据运动构成的双目相机视场内的场景三维结构。

虚拟双目构造

基于SFM方法恢复的相机位置关系存在一定误差，因此要保证最终场景三维结构的准确性，需要合理选择历史相机帧数与当前帧相配对使得对深度图质量影响较小及：在配对选择的过程中，历史相机帧与当前相机帧间要保持较大的重叠和相似的朝向，有一个评价函数（吉白冰）

虚拟双目的立体匹配

1.像素匹配与匹配代价计算：首先基于先验信息确定待计算深度图的图像所对应场景的深度分布区间，在得到的分布区间内确定N个深度假设，每个深度假设对应于一个代表深度值d的平面。同时要考虑估计结果对于场景光照变化和图像噪声的鲁棒性应用ZNCC算子构造像素对应代价函数C(p,d)。
2.**代价聚合与深度值求精：**按WTA规则估计每个像素点对应的深度，采用抛物线拟合的方式获取亚像素级深度估计精度。

后处理

立体匹配仍存在大量错误深度估计，使得产生噪点
1.左右一致性检查： 由于立体匹配过程具有计算对称性，因此估计正确的深度应满足重投影误差公式
2.独特性比率滤波器：
3.连通区滤波器：真实场景中大部分区域在空间中是连续的，因此体现在深度图上相邻区域的深度值也有一定的连续性，错误匹配的深度值与周边深度值存在不连续性根据公式取舍。