文献拜读:基于凸优化的大规模三维重建场景纹理映射

论文:Efficient convex optimization-based texture mapping for
large-scale 3D scene reconstruction

必要性

  • 在给定的多个视图上创建的几何模型,如三维点云和三维三角网格,不足以实现高视觉真实性。
  • 为了获得如照片逼真的3D模型,还需要从多个视图中恢复纹理

挑战

如何为大规模3D场景创建具有高视觉质量的纹理仍然是一个挑战:

  • 由于摄像机标定和几何重建中不可避免的误差,恢复的纹理块可能无法在重建的三维网格上完全对齐
  • 此外,在大规模数据集中,不同视图之间的亮度和比例不同,这使得恢复照片真实感纹理模型困难。
  • 一些研究提出在受控RGB-D数据集上扭曲图像以减少重建误差,生成具有细节的平滑纹理模型。但大多数大规模数据集都没有深度信息
  • 大规模重建中,通过wraping images生成的模型可能会遭受强烈的纹理扭曲和较大的几何误差。

小尺度和大规模纹理映射区别

小尺度场景的纹理映射:

  • 侧重于提高纹理模型的视觉质量
  • 主要是优化相机位姿(optimize camera pose)和扭曲纹理面片(wraping texture paches)

大规模场景的纹理映射:

  • 往往在视觉质量和数值效率之间进行权衡
  • 主要是视图选择(view selection)和接缝优化(seam optimization)两部分

大规模纹理映射的两种策略

根据视角选择策略,大规模场景的纹理映射大致可以分为两类

①基于融合的方法(Blending view-based method)为每个网格面(mesh face)挑选多个视图(view),来生成完整的纹理面片(texture paches)

  • 一般都是可见的视图依据视角和分辨率分配权重,最后合成视图。
  • 应用在大规模场景时纹理细节比较模糊

②基于映射的方法(single view texture mapping)则很专一,一个mesh face只要一个View来确定这一个texture paches

  • view selection可以建模为一个多标签问题,联合处理纹理保真度和纹理平滑度
    • 比如,通过使用图割最小化马尔可夫随机场(MRF)能量函数来选择视图。
  • 在seam optimization也有一些针对伪影和遮挡的接缝优化策略

针对单视图纹理映射方案,大规模数据集的图太大,难以并行计算。为此,作者思考开发一种有效的网格划分策略,将原来的大规模优化问题划分为多个较小的问题,以便进行适当的处理。

凸优化

1 Potts model for view selection

该模型由论文Let There Be Color! Large-Scale Texturing of 3D Reconstructions提出:
文献拜读:基于凸优化的大规模三维重建场景纹理映射_第1张图片

该文对于上述模型使用the alpha-expansion algorithm of graph cuts as an efficient solver to minimize the MRF energy.

  • 然而,鉴于经典图切割算法固有的算法机制,很难从根本上并行化相应的图优化算法,尤其是对于不规则图设置。这使得解决视图选择的Potts模型成为整个纹理映射管道的主要计算瓶颈。
  • 因此,本文将凸松弛方法(convex relaxation approach )引入Potts模型。
2 Continuous max-flow method to Potts model

你可能感兴趣的:(自动驾驶与三维重建,文献拜读,计算机视觉,3d,人工智能)