Nerf论文阅读笔记：Neus：Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction

前言：

本文为记录自己在Nerf学习道路的一些笔记，包括对论文以及其代码的思考内容。公众号： AI知识物语 B站讲解：出门吃三碗饭

摘要

摘要本文的总目标是实现从2D图片到3D模型的高保真重建（使用神经渲染方法）。2020年Niemeyer等人提出的DVR和2020年Yariv等人提出的IDR是现存的神经表面重建（neural surface reconstruction）方法，但他们都依赖前景遮罩（foreground mask）提供监督且训练不稳定。近期的神经方法比如2020年的NeRF及其变体提出使用体积渲染（volume rendering）构造更鲁棒的场景描述，但由于缺少表面约束（surface constraints）在这种隐式（implicit）场景描述的基础上构造表面十分困难。于是本文提出一种新的神经表面重建方法NeuS，使用一个符号距离函数（SDF，signed distance function）的零级集合（zero-level set）来表示一个表面，并部署一种新的体积渲染方法来训练神经SDF描述。作者发现传统体积渲染会在表面重建引入固有几何错误比如bias，所以引入了新方法，改进这一情况，即使没有遮罩监督。

近来非常火热的 Neural Implicit Function：

Volume Rendering based: NeRF 结合poisson surface reconstruction (insufficient surface constraints)Surface Rendering based: IDR(require foreground mask as supervision; trapped in local minima; struggle with reconstruction of objects with severe self-occlusion or thin structures)

NeuS 使用 SDF 函数的水平集 (zero-level set of a signed distance function (SDF)) 表示物体的表面，引入SDF导出的密度分布，采用体渲染 volume rendering 训练一个新的神经SDF表示方法。

NeuS 在复杂几何形状和自遮挡情况下都有效，取得了SOTA的效果，重建效果超过 了NeRF 和 IDR，以及同期的 UNISURF。

体渲染可以处理突然的深度变化，但是重建结果的噪声较大。

经典的体渲染公式：