MVSNet系列

背景介绍

Multi-image stereo reconstruction 就是利用multiple，overlap的图像来重建3D场景，并且这些图片使用透视相机并知道内外参数。
Stereo reconstruction一般可以分成三步：

1. Rectification
2. Stereo matching
3. Triangulation
   
   其中最重要的就是获得视差图，得到了视差图其实也就得到了深度图。得到视差图就是要计算左右两张图中，匹配点在对应图中的视差；最直接也是最慢的就是逐点计算对应匹配，但是实在是太耗时了，因此往往构建损失立方（cost volume）来计算视差。
   
   cost volume就是在给定的深度中，在左右两张图极线上搜索；比如左侧的p点，在右侧的极线对应地方有D_min ~ D_max范围存在对应的正确匹配点，那么计算所有d的损失值并叠加在一起就是volume了。在最终的视差图p点的视差就是cost volume中损失最小的层（就是最匹配的）。
   
   Cost Volume在所有MVSNet方法中都使用到了，其实是传统Multi-view Stereo、Stereo Matching和光流中借鉴过来的思想，早期的DL直接使用2D CNN预测深度但是精度都不高，自MVSNet开始使用CostVolume之后普遍接受了这种思想。

For stereo matching the labels l correspond to vectors (u, v) which define the displacement in x and y direction. In the x direction, the displacement corresponds to the disparity d (u = d) and there is no shift in y direction (v = 0). Cost computation: The cost volume expresses how well a pixel i in image I matches the same pixel in the second image I shifted by vector l
1
2
A taxonomy and evaluation of dense two-frame stereo correspondence algorithms
4

目前已知方法在DTU Benchmark的得分，分别是精度，完整度和综合得分，数据来源各自论文。

Methods	Acc.	Comp.	Overall(mm)
Furu	0.613	0.941	0.777
Tola	0.342	1.190	0.766
Camp	0.835	0.554	0.695
Gipuma	0.283	0.873	0.578
Colmap	0.400	0.664	0.532
SurfaceNet	0.450	1.040	0.745
MVSNet	0.396	0.527	0.462
P-MVSNet	0.406	0.434	0.420
R-MVSNet	0.383	0.452	0.417
MVSCRF	0.371	0.426	0.398
Point-MVSNet	0.342	0.411	0.376
CVP-MVSNet	0.296	0.406	0.351
Fast-MVSNet	0.336	0.403	0.370
CasMVSNet	0.346	0.351	0.348

MVSNet(ECCV18)

MVSNet

DeepMVS(CVPR18)

Unsupervised MVSNet(CVPR19)

Learning Unsupervised Multi-View Stereopsis via Robust Photometric Consistency
论文代码

R-MVSNet(CVPR19)

Point-MVSNet(ICCV19)

Point-based Multi-view Stereo Network
论文代码

P-MVSNet(ICCV2019)

P-MVSNet: Learning Patch-wise Matching Confidence Aggregation for Multi-View Stereo

MVS^2(3DV 19)

MVS^2: Deep Unsupervised Multi-view Stereo with Multi-View Symmetry

Fast-MVSNet(CVPR20)

论文地址
论文代码
速度真快，但是有的场景点太稀疏了吧，应该是最快的方法。

CVP-MVSNet(CVPR20)

Cost Volume Pyramid Based Depth Inference for Multi-View Stereo
论文代码
很慢的方法，如果单看精度，应该是目前最高的

Cascade-MVSNet(CVPR20)

Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching
延续MVSNet，使用串行操作逐渐得到高精度的深度图，但是精度真的高。

PVA-MVSNet(未投)

M^3VSNet(未投)

M^3VSNet: Unsupervised Multi-metric Multi-view Stereo Network