计算机视觉与图形学-神经渲染专题-动态场景下视图合成HyperNeRF

（说明：如果您认为下面的文章对您有帮助，请您花费一秒时间点击一下最底部的广告以此来激励本人创作，谢谢!!!）

神经辐射场（NeRF）在被赋予处理变形的能力时，能够捕获非静态人体对象，但通常在存在显著变形或拓扑变化的情况下质量较差，如（b）所示。通过在（d）中所示的高维空间中建模一系列形状，HyperNeRF模型能够处理拓扑变化，从而产生更真实的渲染和更精确的几何重建，如（c）所示.

摘要

神经辐射场（NeRF）能够以前所未有的保真度重建场景，最近各种工作将NeRF扩展到处理动态场景。重建这种非刚性场景的常见方法是通过使用从每个输入图像中的坐标到规范模板坐标空间的学习变形场映射。然而，这些基于变形的方法难以模拟拓扑变化，因为拓扑变化需要变形场中的不连续性，但这些变形场必然是连续的。作者通过将NeRF提升到更高维空间，并通过将每个单独输入图像对应的5D辐射场表示为通过该“hyper-空间”的切片来解决此限制。我们的方法受到水平集方法的启发，该方法将曲面的演化建模为通过高维曲面的切片。我们在两个任务上评估了我们的方法：（i）在“时刻”（即输入图像中看到的场景配置）之间平滑插值，同时保持视觉合理性；（ii）在固定时刻进行新的视图合成。我们证明，我们称之为HyperNeRF的方法在两个任务上都优于现有方法。通过LPIPS测量，与Nerfies相比，HyperNeRF将插值的平均错误率降低了4.1%，将新视图合成的平均错误降低了8.6%。其他视频、结果和可视化可在获得：hypernerf.github.io

模型架构

作者将每个图像使用一个隐变形编码和隐外观编码关联起来. 光线从摄像机投射到空间中，然后沿着这些光线采样与图像的隐变形编码连接 并将其作为MLPs参数化变形场的输入，该变形场产生扭曲坐标，超空间中的切片曲面产生周围空间的坐标。两个输出连接到映射点（x′，w）=(,,,1.2, . . .)。（x′，w）、观察方向d=(,),以及隐外观编码用作参数化模板NeRF的MLP输入。然后，根据体积渲染的物理原理，将该MLP产生的密度和颜色沿光线进行积分。

实验结果

在这里，作者展示了四种不同图像序列上NeRFs的定性比较。对于每个序列，作者想象两个不同的时刻，每个时刻具有不同的表观拓扑。Nerfies无法用其变形场对拓扑变化建模，因此无法以令人难以置信的方式扭曲几何图形，以解释训练数据，而HyperNeRF在训练期间未看到的新视图上产生更合理的几何估计和更精确的渲染

虽然从技术上讲，这不是拓扑结构的变化，但3D打印机的底座相对于其底座移动需要变形场的急剧变化，从而导致几何结构中的伪影。HyperNeRF缓解了这些问题。

结论

与所有类似NeRF的方法一样，摄像机配准会影响重建的质量。而且，由于作者所提出的模型只使用彩色图像作为输入，没有强加特定领域的先验，因此该方法只能重建观察到的内容。因此，所提出方法无法重建训练数据中没有很好捕捉到的时刻，例如当存在快速运动时。

作者提出了HyperNeRF，它是NeRF的一个扩展，可以重建具有不连续变形的拓扑变化场景。基于变形的动态NeRF模型不能对这种拓扑变化建模，因为它们使用连续变形场，在MLP的权重内编码。HyperNeRF将这些变化建模为高维空间中的切片。为了保持空间紧凑并避免过度拟合，作者延迟使用这些环境维度，然后使用可变形超平面来提取这些切片。因此，作者结合水平集方法和基于变形的动态NeRF模型的见解，以重建大运动和拓扑变化。

更多内容请关注公众号：元宇宙MetaAI

欢迎朋友们投稿，投稿可添加微信：NewYear-2016