SRNTT：Image Super-Resolution by Neural Texture Transfer

作者：Zhifei Zhang, Zhaowen Wang, Zhe Lin, Hairong Qi
论文链接：https://arxiv.org/pdf/1903.00834.pdf
项目链接：http://web.eecs.utk.edu/~zzhang61/project_page/SRNTT/SRNTT.html
代码链接：https://github.com/ZZUTK/SRNTT

摘要

  由于低分辨率（LR）图像中的大量信息丢失，在单图像超分辨率（SISR）的最新技术上进一步改进变得极具挑战性。另一方面，基于参考的超分辨率（RefSR）已被证明在提供与LR输入具有相似内容的参考（Ref）图像时，有望恢复高分辨率（HR）细节。但是，当Ref不太相似时，RefSR的质量可能会严重下降。本文旨在通过一种具有更强的鲁棒性的方式利用Ref图像的更多纹理细节（即使提供了不相关的Ref图像）来释放RefSR的潜力。受近期图像样式化工作的启发，我们将RefSR问题公式化为神经纹理（neural texture？）转移。我们设计了一个端到端的深度模型，该模型通过根据Ref图像的纹理相似性自适应传递Ref图像的纹理来丰富HR细节。而不是像以前的方法那样在原始像素空间中匹配内容，我们的主要贡献是在神经空间中进行的多级匹配。这种匹配方案促进了多尺度神经传递，这使得该模型能够从那些语义相关的Ref补丁中受益更多，并在最不相关的Ref输入上优雅地降级为SISR模式。我们为RefSR的一般研究建立了一个基准数据集，其中包含Ref图像与相似程度不同的LR输入配对。定量和定性评估都证明了我们的方法优于最新技术 [图1] 。

1. 介绍

    传统的单图像超分辨率（SISR）问题定义为从其低分辨率（LR）观察中恢复高分辨率（HR）图像[38]。 与计算机视觉研究的其他领域一样，卷积神经网络（CNN）的引入[5、37、22、25、35、13]极大地推动了SISR的发展。 但是，由于SISR问题的不适定性，大多数现有方法仍会在较大的放大因子（例如：4倍）下遭受模糊结果的影响，尤其是当恢复原始HR图像中存在但在对