稠密重建方法概览

分类依据

• 场景几何描述

  三维体素、三角网、深度图 / 点云

• 归纳偏差 / 经验约束

• 场景语义信息

思路本质

• 物方/像方出发 两种思考角度 寻找参与前交的光线

• 二维或三维传播物方先验（坐标+法向）保证重投影可进行，由灰度一致性、光滑性约束等寻找参与前交的光线

• 转为像方最佳匹配来寻找参与前交的光线，多视可降低匹配不确定性

• 数学优化问题 （优化带约束的目标函数）

  where the objective is to find the surface minimizing a global photometric discrepancy functional, regularized by explicit smoothness constraints (a geometric consistency terms is sometimes added as well).

  ① photometric consistency 即灰度/特征空间的相似性（特征的话必须 computation efficient）

  two-view：SSD sum of squared differences、NCC normalized cross correlation
  multi-view：可视集合 + 集合中所有 two-view 相似性的组合
  
  【存在的问题】
  2D 灰度一致的 不一定是同一3D点 （图像奇异性）
  2D 灰度不一致的 不一定不是同一3D点 （光照、blur、目标对象被遮挡）
  

  ② smoothess constraint 即认为像方邻域存在 visibility consistency，物方邻域存在 geometric consistency

  由于上述【存在的问题】所以要增加其他约束，不论是优化过程还是后处理
  

方法概览

• 物方先验

  基于体素（体素中提取物方表面）、基于表面演化、基于特征点扩充

  物方基本单位是 patch 
  中心点 + 法向 + 法向垂直平面上边的方向，三个要素可唯一确定正方形patch
  

• 像方匹配

  基于深度图、基于视差图（借鉴双目立体匹配引进多视）

  像方匹配也可以有个先验/假设，一般是通过极线约束给定搜索范围
  stereo Matching 四个步骤 matching cost computation | cost aggregation | disparity conputation | dispartiy refinement
  

• 代表做法

  PMVS / CMVS (2010 Furukawa) 特征点扩散
  PatchMatchStereo (2012 Bleyer) 深度图 （集成在OpenMVS框架）
  COLMAP (2014 Zhang 和 2016 Johannes) 深度图

  openmvs 用马尔可夫随机场优化图像选择，由选择的邻接影像集合计算整张基准图像的深度图，分两步 
  colmap 同时进行邻接图像选择和深度计算，保证像素级的影像选择（每个像素选择的集合可以不相同）
  

附加说明

• 早期工作都是先拆分成双目问题

  most early work in multi-view stereopsis view stereopsis tended to match and reconstruct all scene points independently as in the binocular case

• 现有方法将该问题定义为变分优化，而其数学上的解法分局部和全局最优两种

  recent approaches typically cast this problem as a variational one
  建模都大致相同，不同稠密重建的主要区别在于优化解法 the type of optimization techniques that they use
  局部最优解 local methods：gradient descent、level sets、expectation maximization
  全局最优解 global ones：graph cuts

  微积分 (derivative)：function(variable) 处理数的函数
  变分学 (variation)：functional(function) 处理泛函的函数 find all possible input functions, the one minimize/maximize the functional
  都是研究优化问题 optimization problem 区别在于待优化量是什么

  优化问题：变量（数/函数）、优化目标（函数/泛函）、约束（显式化/ 纳入目标函数中）
  概率问题：先验、后验、似然