计算机视觉与图形学-神经渲染专题-

《Removing Objects From Neural Radiance Fields》

链接：https://arxiv.org/pdf/2212.11966.pdf

摘要

神经辐射场 (NeRFs) 正逐步应用到场景表征的各个方向，来实现新颖视图的合成。NeRF 将越来越多内容与其他人共享。不过，在共享 NeRF 之前，可能需要删除个人信息或难看的物体。使用当前的 NeRF 编辑框架不容易实现这种删除。我们提出了一个框架，用于从 RGBD 序列创建的 NeRF 表示中删除对象。我们的 NeRF 修复方法利用了最近在 2D 图像修复方面的工作，并由 serprovided mask 指导。我们的算法以基于置信度的视图选择程序为基础。它选择在创建 NeRF 时使用那些单独的 2D 修复图像，以便生成的修复 NeRF 是 3D 一致的。我们表明我们的 NeRF 编辑方法对于以多视图连贯方式合成合理的修复是有效的。

整体流程

网络架构

结论

作者提出了一个框架来训练神经辐射场，其中对象被合理地从输出渲染中移除。作者所提出方法借鉴了 2D 修复中的现有工作，并引入了一种基于置信度的自动视图选择方案来选择具有多视图一致性的单视图修复。我们通过实验验证，与现有工作相比，我们提出的方法改进了 3D 修复场景的新视图合成。我们还引入了一个用于评估这项工作的数据集，它为该领域的其他研究人员设定了基准。