计算机视觉与图形学-神经渲染专题-非刚体NeRF

《Fast Non-Rigid Radiance Fields from Monocularized Data》

链接：https://graphics.tu-bs.de/publications/kappel2022fast

摘要

单目动态场景下的 3D 重建和新颖视图合成最近受到越来越多的关注。现有工作在合成给定和前向拍摄的真实世界数据下可以合成较好的结果，但在生成新视图的训练速度和角度范围方面受到严重限制。本文解决了这些局限性，并提出了一种用于非刚性变形场景的全 360° 新颖视图合成的新方法。作者所提出方法的核心是：1) 一个有效的变形模块，它分离空间和时间信息处理，以在训练和推理时加速；2) 一个静态模块，将规范场景表示为快速哈希编码的神经辐射场。作者所提出方法的训练速度比以前的方法快得多（训练速度只需几分钟），同时还能够高质量的新视图。

系统框架

作者所提出方法采用一组校准的单目 RGBA 图像来重建可变形的辐射场，用于新视图合成。作者将采样点 x 及其归一化时间戳 t 馈送到单独的浅层 MLP 中，并使用矩阵乘法将生成的高维嵌入组合起来，以获得规范空间中的变形向量 δx。规范模块实现为快速哈希编码的神经辐射场，估计不透明度 σ 和视图相关的颜色 c 以进行体积渲染。