计算机视觉与图形学-神经渲染专题-StructNeRF室内重建

(说明:如果您认为下面的文章对您有帮助,请您花费一秒时间点击一下最底部的广告以此来激励本人创作,谢谢!!!)

神经辐射场(NeRF)通过密集捕获的输入图像实现照片真实感视图合成。然而,给定稀疏视图,NeRF的几何结构极为受限,导致新视图合成质量显著下降。受自监督深度估计方法的启发,我们提出了StructNeRF,一种用于稀疏输入室内场景的新型视图合成解决方案。StructNeRF利用多视图输入中自然嵌入的结构提示来处理NeRF中的无约束几何体问题。具体来说,它分别处理纹理区域和非纹理区域:提出了一种基于面片的多视图一致光度损失来约束纹理区域的几何;对于非纹理的,我们明确限制它们是3D一致的平面。通过密集的自监督深度约束,我们的方法改进了NeRF的几何图形和视图合成性能,无需对外部数据进行任何额外训练。对多个真实世界数据集的大量实验表明,StructNeRF在定量和定性上都超过了用于室内场景的最新方法。

给出一组稀疏的室内图像,对新的视图合成和深度估计进行定性比较。StructNeRF的性能优于最先进的技术。我们提出了两个结构提示:纹理区域的基于面片的多视图一致性和非纹理区域的平面一致性,在没有任何额外数据或网络的情况下显著改进了辐射场的合成和几何。

计算机视觉与图形学-神经渲染专题-StructNeRF室内重建_第1张图片

我们利用稀疏视图中固有的结构提示来提高新视图合成中NeRF的性能。首先,我们利用运动的结构来获取相机参数和稀疏点云。稀疏点云用于在关键点限制NeRF的深度,以热身训练方案为特色。对于纹理丰富的区域,我们使用基于面片的光度损失进行自包含的密集深度监督。我们还提出了一种平面一致性损失,以借助超像素分割调整非纹理区域的深度。

计算机视觉与图形学-神经渲染专题-StructNeRF室内重建_第2张图片

与其他方法的比较

计算机视觉与图形学-神经渲染专题-StructNeRF室内重建_第3张图片

更多内容请关注公众号:元宇宙MetaAI

欢迎朋友们投稿,投稿可添加微信:NewYear-2016

你可能感兴趣的:(计算机视觉与图形学-神经渲染专题-StructNeRF室内重建)