【论文阅读】[ICCV 2019] Point-Based Multi-View Stereo Network. [pytorch] [rec.]

[ICCV 2019] Point-Based Multi-View Stereo Network. [pytorch] [rec.]

写在前面

基于深度学习的三维重建——MVSNet系列论文解读

MVSNet:香港科技大学的权龙教授团队的MVSNet（2018年ECCV）开启了用深度做多视图三维重建的先河.
以及最新综述：Deep Learning for Multi-view Stereo via Plane Sweep: A Survey 链接：https://arxiv.org/pdf/2106.15328.pdf
作者：北京大学,深度学习MVS领域第一篇综述论文，欢迎引用。

前置知识：MVSNet[29]。 一个数据集DTU
可以看到MVSNet是先驱，有机会先看这一篇，后续能 复现最好了。

[29] Yao Yao, Zixin Luo, Shiwei Li, Tian Fang, and Long Quan. MVSNet: Depth Inference for Unstructured Multi-view Stereo. arXiv:1804.02505 [cs], Apr. 2018.

Point-Based Multi-View Stereo Network

PointMVSNet(ICCV2019)也是2019年的改进MVSNet论文，想法是预测出深度depth信息然后和图片构成三维点云，再用3D点云的算法去优化depth的回归。后续复现其代码发现无法得到PointMVSNet论文里的精度，不知道是不是因为3D点云的算法问题。
改的MVSNet_pytorch的代码，PointMVSNet github链接：https://github.com/callmeray/PointMVSNet

我们的框架由两个步骤组成：
首先，为了从整个场景中切割出近似的物体表面，通过相对较小的三维代价体积生成初始粗糙深度图，然后将其转换为点云。
随后，我们的新PointFlow模块被应用于从初始点云迭代回归精确且密集的点云

一个启发点：迭代 修改精度？ 计算复杂度会很高？

Point-MVSNet architecture

PointFlow module

4.2. Implementation details

Batch size is set to 4 on 4 NVIDIA GTX 1080Ti graphics cards

实验效果