Image Super-Resolution by Neural Texture Transfer(CVPR2019)

Motivation：基于参考图像的图像超分方法具有很大的潜力，但是当参考图像和LR图像不够相似时，或者未对齐时，图像的超分效果就会很差。

整体思路： 本文旨在利用来之参考图像的更多纹理信息来释放RefSR的潜力，即是在不提供相关的Ref图象时，也具有很强的鲁棒性。将RefSR问题形式化为神经纹理迁移问题，设计了端到端的模型，将Ref图像的纹理自适应的迁移，从而丰富HR图像细节，且在神经空间执行多层面的匹配。

 

Github地址：https://github.com/ZZUTK/SRNTT

具体方法：提出的SRNTT的目标是给定参考图像，通过LR得到SR，使得SR可以根据参考图像得到更加合理的纹理信息，且在内容上与LR保持一致。

 

• 特征交换

匹配特征是在patch中进行的，由于LR和参考图像大小不同，对LR进行上采样与参考图像大小相同，同时为了二者有相同的模糊程度，对参考图像进行了下采样再进行上采样。特征的相似性使用内积计算，公式为：