文献拜读：基于凸优化的大规模三维重建场景纹理映射

论文：Efficient convex optimization-based texture mapping for
large-scale 3D scene reconstruction

必要性

• 在给定的多个视图上创建的几何模型，如三维点云和三维三角网格，不足以实现高视觉真实性。
• 为了获得如照片逼真的3D模型，还需要从多个视图中恢复纹理

挑战

如何为大规模3D场景创建具有高视觉质量的纹理仍然是一个挑战:

• 由于摄像机标定和几何重建中不可避免的误差，恢复的纹理块可能无法在重建的三维网格上完全对齐。
• 此外，在大规模数据集中，不同视图之间的亮度和比例不同，这使得恢复照片真实感纹理模型困难。
• 一些研究提出在受控RGB-D数据集上扭曲图像以减少重建误差，生成具有细节的平滑纹理模型。但大多数大规模数据集都没有深度信息。
• 在大规模重建中，通过wraping images生成的模型可能会遭受强烈的纹理扭曲和较大的几何误差。

小尺度和大规模纹理映射区别

小尺度场景的纹理映射：

• 侧重于提高纹理模型的视觉质量
• 主要是优化相机位姿（optimize camera pose）和扭曲纹理面片（wraping texture paches）

大规模场景的纹理映射：

• 往往在视觉质量和数值效率之间进行权衡
• 主要是视图选择（view selection）和接缝优化(seam optimization)两部分

大规模纹理映射的两种策略

根据视角选择策略，大规模场景的纹理映射大致可以分为两类

①基于融合的方法（Blending view-based method）为每个网格面（mesh face）挑选多个视图（view），来生成完整的纹理面片（texture paches）

• 一般都是可见的视图依据视角和分辨率分配权重，最后合成视图。
• 应用在大规模场景时纹理细节比较模糊

②基于映射的方法（single view texture mapping）则很专一，一个mesh face只要一个View来确定这一个texture paches

• view selection可以建模为一个多标签问题，联合处理纹理保真度和纹理平滑度
  • 比如，通过使用图割最小化马尔可夫随机场（MRF）能量函数来选择视图。
• 在seam optimization也有一些针对伪影和遮挡的接缝优化策略

针对单视图纹理映射方案，大规模数据集的图太大，难以并行计算。为此，作者思考开发一种有效的网格划分策略，将原来的大规模优化问题划分为多个较小的问题，以便进行适当的处理。

凸优化

1 Potts model for view selection

该模型由论文Let There Be Color! Large-Scale Texturing of 3D Reconstructions提出：

该文对于上述模型使用the alpha-expansion algorithm of graph cuts as an efficient solver to minimize the MRF energy.

• 然而，鉴于经典图切割算法固有的算法机制，很难从根本上并行化相应的图优化算法，尤其是对于不规则图设置。这使得解决视图选择的Potts模型成为整个纹理映射管道的主要计算瓶颈。
• 因此，本文将凸松弛方法（convex relaxation approach ）引入Potts模型。

2 Continuous max-flow method to Potts model