计算机视觉与图形学-神经渲染专题-超分辨UltraSR

《UltraSR Spatial Encoding is a Missing Key for Implicit Image Function-based Arbitrary-Scale Super-Resolution》

（说明：如果您认为下面的文章对您有帮助，请您花费一秒时间点击一下最底部的广告以此来激励本人创作，谢谢!!!）

LIIF方法和我们的UltraSR在分辨率×18情况下的质量比较。如图所示，我们的模型可以避免极端尺度下的结构失真。

摘要

NeRF和其他相关的隐式神经表示方法取得的成功为连续图像表示开辟了新的途径，不再需要从存储的离散2D阵列中查找像素值，而是可以从连续空间域上的神经网络模型中推断像素值。尽管最近的研究表明，这种新方法可以在任意尺度的超分辨率任务上取得良好的性能，但由于高频纹理的预测不准确，它们的放大图像经常显示出结构失真。在这项工作中，我们提出了UltraSR，这是一种基于隐式图像函数的简单而有效的新网络设计，其中我们将空间坐标和周期编码与隐式神经表示深度集成。通过大量实验和消融研究，我们发现空间编码是下一阶段高性能隐式图像功能的关键。与以前最先进的方法相比，我们的UltraSR在所有超分辨率尺度下在DIV2K基准上设置了新的最先进性能。UltraSR在其他标准基准数据集上也取得了优异的性能，在几乎所有实验中，它都优于先前的工作。

系统框架

下图为UltraSR的总体结构。蓝点是指需要渲染的目标HR像素的位置。黑点表示LR特征图VLR中附近特征的位置。δx是位置差，φ（·）是空间编码函数。fθ是我们的渲染网络，其中坐标和编码与每个网络的隐藏层深度融合。

下面图像显示了LIIF（左）所使用普通MLP和我们的带有坐标融合和残差链接的ResMLP（右）。

实验结果

下面示例显示了由LIIF所生成的所有分辨率尺度上存在像网格状伪影问题。但此类伪影不会出现在我们的UltraSR中。

结论

我们介绍了一种新的任意尺度超分辨率模型UltraSR，它将空间编码与隐式图像函数深度结合。我们还通过结果比较和视觉证据揭示了空间编码和坐标融合的重要性，其中结构失真可以有效减少。总之，在所有分辨率尺度下，我们的UltraSR的PSNR性能超过了DIV2K数据集上的所有现有技术。我们还展示了在其他5个基准数据集上的结果，从中可以再次证明使用空间编码的优越性。

更多内容请关注公众号：元宇宙MetaAI

欢迎朋友们投稿，投稿可添加微信：NewYear-2016