计算机视觉与图形学-神经渲染专题-动态场景下空时视图合成

（说明：如果您认为下面的文章对您有帮助，请您花费一秒时间点击一下最底部的广告以此来激励本人创作，谢谢!!!）

作者所提出方法可以从动态场景的单目视频中合成空间和时间上的新视图。这里，作者展示了各种固定、插值视图、时间配置下视频结果（左图），以及恢复场景几何体的可视化（右图）。

摘要

作者提出了一种新的动态场景视图和时间合成方法，只需要输入已知摄像机姿态的单目视频。为此，作者引入了神经场景流场，这是一种将动态场景建模为外观、几何和三维场景运动的时变连续函数的新表示。作者所提出的表示是通过神经网络来进行优化，以拟合观察到的输入视图。作者所提出的表示可以用于各种室外场景，包括薄结构、视图相关效果和复杂的运动度。作者进行了大量实验，证明所提出的方法明显优于最近的单目视图合成方法，并在各种真实视频上显示了时空视图合成的定性结果。

系统框架

为在时间i渲染一帧，作者在时间i使用RGBσ沿光线ri进行体渲染，得到像素颜色（左）。为将场景从时间j扭曲到i，作者使用场景流fi沿ri进行偏移和将关联颜色和不透明度来进行体渲染（右）。

场景流的模糊性。在这个2D正交示例中，单个蓝色对象从帧i到帧j向右平移一个单位。在这里，正确的场景流标记为a。然而，对于场景f_ij流指向右侧一个单位可以有多个答案。如果f_ij=0，则场景流将错误地指向下一帧中的前景，如果f_ij=1，场景流将指向j处的自由空间位置d。

实验结果

动态场景数据集的定性比较。与之前的方法相比，作者所提出的渲染图像更接近于真实情况，并包含更少的伪影，如突出显示的区域所示。

结论

特别是，作者所提出的方法有几个限制。与NeRF类似，即使在有限的分辨率下，训练和渲染时间也很长。此外，每个场景必须从头开始重建，并且作者所提出的表示无法推断训练视图中未看到的内容。此外，在给定默认模型参数数量的情况下，当序列长度增加时，渲染质量会下降。如果物体和摄像机运动接近退化情况，例如共线，所提出方法可能会导致不正确的局部极小值。

更多内容请关注公众号：元宇宙MetaAI

欢迎朋友们投稿，投稿可添加微信：NewYear-2016