计算机视觉与图形学-神经渲染专题-NeRF-SR

（说明：如果您认为下面的文章对您有帮助，请您花费一秒时间点击一下最底部的广告以此来激励本人创作，谢谢!!!）

NeRF是最先进的新视图合成方法，可以以训练图像的分辨率合成照片级真实感输出，但如（a）所示，在更高的分辨率下难以实现，而NeRF SR即使使用低分辨率输入也可以生成高质量的新视图（b）。

摘要

我们提出了NeRF-SR，这是一种用于高分辨率（HR）新视图合成的解决方案，主要用于低分辨率（LR）输入。我们的方法建立在神经辐射场（NeRF）的基础上，该神经辐射场使用多层感知器预测每点密度和颜色。对比处理任意尺度图像，NeRF很难生成超过给定输入图像分辨率的视图。我们认为NeRF得益于3D一致性，这意味着观察到的像素从附近的视图中获得。我们首先通过一种超采样策略来利用它，该策略在每个图像像素处发射多条光线，这进一步在亚像素级别上实施多视图约束。然后，我们表明，NeRF-SR可以通过一个优化网络进一步提高超采样的性能，该网络利用现有的估计深度，仅在一个HR参考图像上产生相关补丁的细节。实验结果表明，无需任何外部信息，NeRF SR在合成数据集和真实数据集上生成高质量的新视图合成结果。

网络框架

NeRF-SR系统框架主要包括两个部分。（a） 我们采用超采样策略，仅从低分辨率输入生成超分辨率新视图。（b） 给定任意视点的高分辨率参考，我们利用已有的深度图提取相关面片，NeRF-SR生成合成图像的更多细节。

实验结果

对比双三次、NeRF、我们的SS和我们的Refine算法性能。NeRF SR在叶子和花的叶子以及角的耳朵和鼻子上的裂缝中呈现正确和清晰的纹理，可以使用细化网络进一步增强。

结论

NeRF-SR的一个主要限制是它不具有良好的任意尺度特性。它还引入了额外的计算效率，需要训练较长的时间。

总之，我们提出了NeRF-SR，主要使用低分辨率输入，并在没有任何外部数据的情况下实现真实感渲染。具体而言，我们从两个角度利用NeRF中的3D一致性：超采样策略，通过子像素中的多视图找到对应点；深度引导细化，使HR参考图像上的相关的细节。最后，区域超采样和广义NeRF超分辨率可能会在未来的工作中进行探索。

更多内容请关注公众号：元宇宙MetaAI

欢迎朋友们投稿，投稿可添加微信：NewYear-2016