论文笔记:D-NeRF:Neural Radiance Fields for Dynamic Scenes

中文标题:针对动态场景的神经辐射场

(本文只介绍与NeRF不同的知识点)
发布会议:CVPR2021

问题

  • NeRF仅针对静态场景,从不同帧(视角下)重建相同的空间位置。

创新点

  • 将时间作为系统的输入
  • 将训练分为两个阶段:
  • 阶段1:将任意时间上的场景编码到规范场景上 ( x , y , z , t ) → ( Δ x , Δ y , Δ z ) (x,y,z,t)\rightarrow (\Delta x, \Delta y, \Delta z) x,y,z,t(Δx,Δy,Δz)
  • 阶段2回归出任意时间上场景 ( x + Δ x , y + Δ y , z + Δ z , θ , ϕ ) (x + \Delta x,y + \Delta y, z + \Delta z, \theta , \phi) (x+Δx,y+Δy,z+Δz,θ,ϕ)
  • 使用 ( θ , ϕ , t ) (\theta,\phi,t) (θ,ϕ,t)来控制场景视角及时间

思路:

  • 前提假设:场景中每一个点只能变换位置,不会凭空出现或消失(似乎把适用范围限制在了合成数据集上)
  • 训练一个可以在任意时刻隐表示场景并合成新视角的深度学习模型。
    论文笔记:D-NeRF:Neural Radiance Fields for Dynamic Scenes_第1张图片

解决方案:

规范网络 Canonical Network:

  • Ψ x ( x , d ) → ( c , σ ) \Psi_x(x, d) → (c,\sigma) Ψx(x,d)(c,σ)
  • 也就是说场景(scene)中每一个点都有一个规范(起始)位置,这些点可以在不同时间变换位置,但绝对不会消失或凭空出现。

变形网络 Deformation Network:

  • Ψ t ( x , t ) → Δ x \Psi_t(x, t) → \Delta x Ψt(x,t)Δx
  • 对于时间t场景中的某一点x,求得相对于规范场景下的变形量 Δ x \Delta x Δx

时间参与的渲染:

论文笔记:D-NeRF:Neural Radiance Fields for Dynamic Scenes_第2张图片

##参考文献
[1] Pumarola A, Corona E, Pons-Moll G, et al. D-nerf: Neural radiance fields for dynamic scenes[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 10318-10327.

你可能感兴趣的:(神经辐射场,论文阅读,人工智能,动态场景,神经辐射场)