计算机视觉与图形学-神经渲染专题-动态场景视图合成Temporal-MPI

（说明：如果您认为下面的文章对您有帮助，请您花费一秒时间点击一下最底部的广告以此来激励本人创作，谢谢!!!）

静态场景的新型视图合成在生成照片真实感效果方面取得了显著进步。然而，动态场景的沉浸式渲染仍然面临着关键挑战。多平面图像（MPI）是一种开创性的基于图像的绘制方法，它可以为静态场景生成高质量的视图合成。但没有研究用MPI建模动态内容。在本文中，我们提出了一种新的时态MPI表示法，它能够将整个视频中丰富的3D和动态变化信息编码为紧凑的时态基和联合学习的系数。通过时间基和来自temporal MPI的系数的线性组合，可以使用微秒高效地生成用于渲染的时间实例MPI。因此，可以通过Temporal MPI实时、高质量地渲染任意时间实例的新视图。我们的方法在Nvidia动态场景数据集上进行了训练和评估。我们表明，与其他最先进的动态场景建模方法相比，我们提出的TemporalMPI更快、更紧凑。

从英伟达动态场景数据集对测试序列提出的时间MPI的重建质量演示。动态视觉效果可以在Adobe PDF Reader中查看

整体流程

提出的时间MPI包括三部分：低频分量Kc0、时间基B和高频系数{Kn}。时间实例MPI Mt中的α值和颜色值恢复为基B和频率系数{Kn}n基n=1的线性组合，并将TemporalMPI Mˆ中的低频分量Kc 0相加。相应帧中的颜色从时间瞬时MPI Mt渲染为方程式（1）中MPI的α成分。总体管道是可区分的，并通过像素渲染损失对每个场景进行优化。

渲染方法对比

更多内容请关注公众号：元宇宙MetaAI

欢迎朋友们投稿，投稿可添加微信：NewYear-2016

《Temporal-MPI: Enabling Multi-Plane Images for Dynamic Scene Modelling via Temporal Basis Learning》