UCSNet（CVPR2020）论文阅读UCSNet（CVPR2020）1.MVSNet2.UCSNet细节a.Cascademoduleb.Planesweepvolumec.Uncertaintyawarenessd.Adaptivethinvolume

UCS-Net，论文名为：DeepStereousingAdaptiveThinVolumeRepresentationwithUncertaintyAwareness，CVPR2020（CCFA）本文是MVSNet

论文地址：CostVolumePyramidBasedDepthInferenceforMulti-ViewStereo一、摘要  这篇文章采用了代价体金字塔，由粗糙到精细逐级生成深度图；在第一次深度估计时直接生成固定大小的代价体，在后面的深度估计中，基于上一层预测的深度图来构建自适应的代价体来预测深度的残差图。二、网络结构  记I0∈RH×WI_{0}\inR^{H\timesW}I0∈RH×W

文章目录Abstract解决问题：端到端，从多视图中预测深度图。方法：实验结果：1.IntroductionMVS是什么？传统方法：CNN：two-viewstereomatching（双目立体匹配）multi-viewstereoMVSNet与其它方法[15,14]的两点不同(贡献点？)：1.camerafrustum;2.smallerproblemsofper-viewdepthmapest

一、论文简述1.第一作者：KeyangLuo2.发表年份：20193.发表期刊：ICCV4.关键词：MVS、块匹配、置信度、代价聚合5.探索动机：参考图像的像素，各向同性和各向异性1.Apopularmatchingmetricusedinmostexistingmethodsisthevarianceoffeaturesbetweenthepairofpixels,inwhichthecontr

PVA-MVSNet论文名为：PyramidMulti-viewStereoNetwithSelf-adaptiveViewAggregation，2020年的ECCV（CCFB）论文。

CIDER全名：LearningInverseDepthRegressionforMulti-ViewStereowithCorrelationCostVolume,AAAI2020(CCFA)本文是MVSNet

R-MVSNet提出了一种基于递归方式的多视角重建方法，通过递归方式的代价空间正则化(costvolumregularization)来代替原本的3D代价空间，不但减少了内存消耗还提升了模型的精度和效率

基于深度学习的多视角立体视觉模型MVSNet提出了一种基于多视角图像和相机参数重建出目标深度图的有效方法。

突然发现MVSNet当中其实相当一部分直接沿用了这个模型的思想而没有做详细的解释，为了更好的理解MVSNet当中一些名词概念、方法原理，对该论文进行补充精读。对于视差和深度的关系，可

RecurrentMVSNetforHigh-resolutionMulti-viewStereoDepthInference1.IntroMulti-viewstereo(MVS)目标是根据多角度图像以及校准的相机，恢复出三维场景。新的机器学习(learned)方法在MVS中相比传统方法表现出色。然而在大多数learnedMVS方法中，由于costvolumeregularization严重消耗

一.colmap2mvsnet.pyCOLMAP可以给图像数据集标定一套相机外参及视图选择。

一、论文简述1.第一作者：AntyantaBangunharcana2.发表年份：20193.发表期刊：CVPR4.关键词：MVS、GRU、深度学习、CNN、分类5.探索动机：绝大多数基于学习的方法都基于代价空间正则化来进行训练和预测。但基于3D卷积的方式对于计算资源的消耗巨大，此外基于八叉树的OctNet和O-Net、基于分治策略的DeepMVS以及SurfaceNet也都面领着精度或速度的问题

文章目录一、MVSNet的学习1、1定义以及流程二、运行CasMVSNet1、环境配置2、安装配置3、运行测试4、使用colmap的数据1、Colmap进行重建2、输入Colmap数据一、MVSNet的学习

一.环境配置1.安装Anaconda最新版即可，详见：配置深度学习环境（Linux服务器）2.创建conda环境condacreate-nMVSNetpython=3.7激活环境condaactivateMVSNet3.在conda中安装Pytorch根据CUDA版本在pytorch官网中找到对应的下载（我的CUDA是11.4）condainstallpytorch==1.12.1torchvis

文章目录前言一、整体概述二、特征提取pytorch代码三、可微分的单应变换三维重建之平面扫描算法（Plane-sweeping）pytorch代码四、3d代价体的构造前言最近开始看mvs系列论文，记录一些心得体会，废话不多说，直接进入主题一、整体概述作者提出了一种端到端的网络进行深度图估计，网络的输入是一张参考图像（文中的referenceimg）和一系列的源图像（sourceimgs），这篇文章

一、论文简述1.第一作者：YaoYao2.发表年份：2018Oral3.发表期刊：ECCV4.关键词：MVS、端到端网络、代价体、深度图、可微分单应变换5.探索动机：传统方法存在一些常见的局限性，很难处理场景的低纹理、高光和反射区域，从而导致重不完全建。基于体的学习方法，如SurfaceNet和LSM网络由于体表示的缺点，只能进行小规模的重建。6.工作目标：是否可以将学习的两视图立体视觉的思路扩展

0算法来源GitHub-xy-guo/MVSNet_pytorch:PyTorchImplementationofMVSNet小于8g的显存是跑不了的！！！

目录代码库关系代码运行流程图cva_mvsnet网络结构代码库关系代码运行流程图cva_mvsnet网络结构

一、数据集预处理脚本测试部分的DTU_Test_Set(Dataset):读取扫描scan数据集idtest_set=[1,4,9,10,11,12,13,15,23,24,29,32,33,34,48,49,62,75,77,110,114,118]test_lighting_set=[3]数据参数读入首先需要说明网络的参数在./FastMVSNet/configs/dtu.yaml中构造数据初

点击上方“3D视觉工坊”，选择“星标”干货第一时间送达1.概述MVS是一种从具有一定重叠度的多视图视角中恢复场景的稠密结构的技术，传统方法利用几何、光学一致性构造匹配代价，进行匹配代价累积，再估计深度值。虽然传统方法有较高的深度估计精度，但由于存在在缺少纹理或者光照条件剧烈变化的场景中的错误匹配，传统方法的深度估计完整度还有很大的提升空间。近年来卷积神经网络已经成功被应用在特征匹配上，提升了立体匹

Point-BasedMulti-ViewStereoNetworkPoint-MVSNetarchitecturePointFlowmodule4.2.Implementationdetails实验效果写在前面基于深度学习的三维重建——MVSNet

以下链接是个人关于MVSNet(R-MVSNet)-多视角立体深度推导重建所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159相互讨论技术。

二、网络整体架构2.1初始深度图生成  使用预训练好的MVSNet生成低分辨率的初始深度图。2.22D-3D特征融合  2D特征是指从CNN中提取出来的多尺度的特征图，3D特征

1.介绍Point-MVSNet的大致流程如下：首先生成一个粗略的深度图（通过MVSNet，这是另一篇文章提出的网络结构，不过它是通过costvolume的方式进行重建的）。

目录核心思路相关工作Pipeline图像特征CostVolumnDepthMapLoss实现数据视角选择训练后处理实验评估消融缺陷MVSNet:DepthInferenceforUnstructuredMulti-viewStereoECCV2018

与cost-volume方法不同，该方法将目标场景直接处理为点云，以粗略到精细的方式预测深度。首先生成一个粗略的深度图，将其转换为点云，并通过估计当前迭代深度与groundtruth之间的残差来迭代细化点云。该网络通过将3D几何先验和2D纹理信息融合到特征增强的点云中，共同有效地利用它们，并处理点云以估计每个点的3D流。首先通过相对较小的3D成本体积生成初始粗略深度图，然后转换为点云。随后，所提出

Point-MVSNet全文名称：Point-BasedMulti-ViewStereoNetwork，是2019提出的使用coarse-to-fine方法来优化深度图推断过程的网络结构，与上一篇CVP-MVSNet

上期文章介绍了用于三维重建的深度学习框架MVSNet[1]，这也是如今比较主流的深度估计的神经网络框架。框架的原理按照双目立体匹配框架步骤：匹配代价构造、匹配代价累积、深度估计和深度图优化四个步骤。

RecurrentMVSNetforHigh-resolutionMulti-viewStereoDepthInference摘要基于深度学习的MVS存在的缺陷：代价体正则化消耗的内存巨大，使MVS难以运用高分辨率场景创新提出了使用循环神经网络正则化方案，将原来的一次性正则化整个3D代价体的方案，改为了通过GRU模块沿着深度划分方向顺序的正则化2D的代价图，极大的减少了内存的消耗，使得基于深度学习

摘要一种新颖的基于点的多视图立体（MVS）深度框架。与传统方法不同，该网络直接将目标场景处理为点云。具体的流程为：通过现有的深度学习网络得到一张粗略的深度图。将深度图转换为点云，进行迭代来细化点云。将3D几何先验和2D纹理融合成为特征增强点云。处理特征增强点云以估计每个点的3D流（3Dflow不知道是不是这样翻译）。优势：与基于代价体的方法相比，基于点的架构的架构允许更高的准确性、更高的计算效率和

CascadeCostVolumeforHigh-ResolutionMulti-ViewStereoandStereoMatching摘要现有的基于深度学习的多视图立体方法，通常是通过构建3D代价体，通过正则化代价体回归深度图或者视差图。分辨率越高，所消耗的内存越高。本文提出了一个级联结构，由粗到细的思想将前一段的深度预测图用于下一阶段的输入，减少下一阶段的深度预测范围，从而减少内存的消耗。引言

MVSNet:DepthInferenceforUnstructuredMulti-viewStereo文章提出了一种端到端的深度学习架构，直接从图像得到深度图。

论文地址：P-MVSNet:LearningPatch-wiseMatchingConfidenceAggregationforMulti-ViewStereo一、摘要  CostVolumes应该是各向异性的

论文地址：Fast-MVSNet:Sparse-to-DenseMulti-ViewStereoWithLearnedPropagationandGauss-NewtonRefine一、摘要  以往的MVSNet

P-MVSNet:LearningPatch-wiseMatchingConfidenceAggregationforMulti-ViewStereo–学习多视图立体的逐块匹配置信度聚合本文的创新点1、

Fast-MVSNet:Sparse-to-DenseMulti-ViewStereoWithLearnedPropagationandGauss-NewtonRefinement：快速MVSNet：稀疏到密集的多视图立体

Fast-MVSNet一、概览二、稀疏高分辨率深度图预测三、深度图扩展四、Gauss-Newton精细化五、损失函数六、实现细节1.train2.test七、网络结构1.稀疏高分辨率深度图预测2.深度图扩展

CURVATURE-GUIDEDDYNAMICSCALENETWORKSFORMULTI-VIEWSTEREO一、问题与创新1.关注点2.目前MVS的特征提取网络中存在的问题3.创新点二、网络细节1.法曲率2.CDSConv(曲率引导的动态尺度卷积)1)法曲率计算2)法曲率近似3)可学习的法曲率4)尺度选择5)示例说明3.CDSFNet（曲率引导的动态尺度特征网络）1)动态尺度估计示例2)法曲率估

放在这里做个备份，原文链接：https://www.sohu.com/a/334072786_715754一、背景该文章来自香港科技大学和深圳Altizure公司的研究团队，该团队在2018年ECCV上提出了MVSNet

点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达论文题目：P-MVSNet:LearningPatch-wiseMatchingConfidenceAggregationforMulti-ViewStereo

RecurrentMVSNetforHigh-resolutionMulti-viewStereoDepthInferenceCVPR2019核心思路之前的缺陷：scalability,hardforhigh-resolutionscenescontribution:scalableMVSframework内存消耗减少，也可以应用大场景insteadofregularizingtheentire3

P-MVSNet:LearningPatch-wiseMatchingConfidenceAggregationforMulti-ViewStereoICCV2019Abstractvolume在深度和空间方向应该都是各向异性的

P-MVSNet:LearningPatch-wiseMatchingConfidenceAggregationforMulti-ViewStereo摘要基于平面扫描算法构建代价体的方法运用很广泛，但平面扫描体

一、MVSNet一些操作1、MVSNet构建特征体参考图像的一个pixel（记作x）（rimage），在其拍摄方向给定的深度（d_i）对应着一个三维点（x_i）即世界坐标值，它投影到matchingimage

MVSNet内存消耗是分辨率的三次方，PointMVSNet运行时间增长为迭代次数的线性倍，这篇文章对比的对象主要是PointMVSNet。

除第一阶段生成一个粗深度图，每一阶段生成的应该是残差深度图，与上一层深度图的上采样叠加后，产生新的深度图，这个图在CVP-MVSNet显示的更贴切。

CostVolumePyramidBasedDepthInferenceforMulti-ViewStereoCVPR2020oralAbstractbuildcostvolumepyramidinacoarse-to-finemanner而不是固定分辨率的代价体，使得网络更轻量化，可以迭代生成高质量的深度图首先通过对最粗糙图像的前平行平面均匀采样构建最初的costvolume，然后进行pixel

开始之前推荐先把论文读明白：【深度学习MVS系列论文】CVP-MVSNet:CostVolumePyramidBasedDepthInferenceforMulti-ViewStereo数据集【Train

环境配置需要下载作者提供的数据集，跟MVSNet的数据集不是很一样，但都不大2G+1G整体环境推荐不要复用MVSNet，主要是PyTorch版本比较新，再依照requirements安装下没安过的库即可如果