MVS学习（一）：综述论文阅读记录

Abstract

这个摘要很值得好好理解，原文：
This tutorial presents a hands-on view of the field of multi-view stereo with a focus on practical algorithms. Multi-view stereo algorithms are able to construct highly detailed 3D models from images alone. They take a possibly very large set of images and construct a 3D plausible
geometry that explains the images under some reasonable assumptions, the most important being scene rigidity. The tutorial frames the multiview stereo problem as an image/geometry consistency optimization problem. It describes in detail its main two ingredients: robust implementations of photometric consistency measures, and efficient optimization algorithms. It then presents how these main ingredients are used by some of the most successful algorithms, applied into real applications, and deployed as products in the industry. Finally it describes more advanced approaches exploiting domain-specific knowledge such as structural priors, and gives an overview of the remaining challenges and future research directions
至少有3点有效信息（加粗部分）：

1. MVS重建方式有效的前提是要满足几个基本假设，其中最重要的基本假设是被重建的物体或者场景（为了方便表述，后续将物体和场景统称为物体）是刚性的，也就是在相当长的时间维度上这个物体或者场景在空间维度上是不变的。举个栗子， 如果直接不加优化使用mvs对人脸进行三维重建效果是很难保证的，因为人脸不是刚体（除非你能保证在图像获取期间面部肌肉完全不动）；
2. 关于mvs问题的归类：把mvs问题归类到图像/几何一致性优化问题（image/geometry consistency optimization problem），如何理解图像/几何一致性优化问题？同一个物体在不同的几何位姿下使用通一个相机拍摄的图像是不同的，最简单的比如近大远小；也就是加入相机固定，物体在相机中成像的结果和物体的位姿是有映射关系的，mvs就是优化这个映射关系的过程和结果；
3. 基于2，就引出两个核心问题，即如何量化衡量图像/几何一致性还有衡量完发现不一致如何优化这个映射。（可以理解成深度学习中损失函数的确定和模型训练中优化的策略）

Introduction

Reconstructing 3D geometry from photographs is a classic Computer
Vision problem that has occupied researchers for more than 30 years

这个问题产生30多年了，目前发展到已经具备一定的落地应用能力。

The goal of an image-based 3D reconstruction algorithm can
 be described as ”given a set of photographs of an object or a scene, 
 estimate the most likely 3D shape that explains those photographs, 
 under the assumptions of known materials, viewpoints, and lighting conditions”

接下来说明这个任务是在做什么，核心目标，也就是在已知物体材料属性、相机的视点（可以理解成想相机和待拍摄物体的空间相对关系）和光照条件的基础上，通过获得的一系列的物体或者场景的二维图像，推理（重建）出该物体或者场景的3维模型。

对MVS进行定义：Multi-view stereo (MVS) is the general term
given to a group of techniques that use stereo correspondence as their
main cue and use more than two images

下图说明了MVS的整个工作流程

step1（图片左上）：获取待重建物体各个角度的二维图像，数据获取质量决定重建效果的上限，具体注意事项和建议后续有详细说明；
step2 （图片右上）：计算与每一张图片对应的相机外参，相机内参外参可以参考博文https://blog.csdn.net/qq_35250841/article/details/106198870：相机标定总结（像素坐标系、图像坐标系、相机坐标系和世界坐标系之间的转换关系说明）
step3（图片右下）：进行几何三维重建（只有物体形状，没有表面纹理信息）
step4（图片左下）：纹理重建，根据材料属性等对步骤3重建出来的形状物体上“贴图”，复原出纹理信息。
上文流程中的4个步骤，涉及到一个基础技术–如何获取与图像对应的相机外参。

An MVS algorithm is only as good as the quality of the input
images and camera parameters. Moreover, a large part of the recent
success of MVS is due to the success of the underlying Structure from
Motion (SfM) algorithms that compute the camera parameters
如原文所述，图像的质量和相机参数的好坏直接影响MVS算法的最终效果，近年mvs效果的提升很大程度上也是因为Sfm算法——一种计算相机参数的基础算法性能的提升。当然，也不是一定要使用SfM算法获取与图像对应的相机参数，但是SfM目前比较通用，简单，效果可控。

SfM简介

SfM（Structure from Motion），SfM algorithms take as input a set of images and produce
two things: the camera parameters of every image, and a set of 3D points visible in the images which are often encoded as tracks。（可以理解为sfm算法通过读取一个物体的一系列图片求出对应的相机参数和相机轨迹的过程，实际上在MVS中我们只需要与图像对应的相机的参数）

SfM工作流程

Openmvs简介和安装

openMVS+ubuntu1804安装记录和问题解决

Multi-view Photo-consistency

待续