2019基于深度学习的图像超分辨率文献综述：Deep Learning for Image Super-resolution: A Survey

2019年新鲜出炉的基于深度学习的图像超分辨率文献，作者归纳总结了现有的使用深度学习方法解决图像超分辨率问题的研究工作，并把现有的研究工作主要分成三个部分：

1.supervised SR（有监督学习的图像超分辨率）
2.unsupervised SR（无监督学习的图像超分辨率）
3.domain-specific SR （特定应用领域的图像超分辨率）
并对未来的研究工作做出了展望。

文中还涉及了对SR的问题定义、数据集、图像质量评价方法的论述。
论文地址：https://arxiv.org/abs/1902.06068

综述的具体论述和章节安排如下：

目前已公开的可用于图像超分辨率研究的数据集

总结出的SR未来研究方向：

1.Network Design（网络结构设计）

可考虑从如下方面改进网络结构：

• Combining Local and Global Information，结合局部和全局信息，大的感受野可以提供更多的纹理信息，这样可生成更加真实的的HR图像。
• Combining Low- and High-level Information，结合低层和高层信息，deep CNNs中的较浅层易于抽取如颜色和边缘等低层特征，而较高层更易获得如目标识别等高层次的特征表示，结合低层网络抽取的低层细节信息和高层网络抽取到的高层纹理信息可获得效果更好的HR图像。
• Context-specific Attention，结合特定内容的注意力机制，增强主要特征可促进生成的HR图像具体更加真实的细节。
• Lightweight Architectures，目前网络结构日趋复杂，如何减少模型大小，加快预测时间并保持性能仍然是一个研究课题。
• Upsampling Layers，如何设计出有效并有效率的上采样层是值得研究的，特别是在放大倍数较大的图像超分辨率问题上。

2.Learning Strategies（学习策略）

• Loss Functions，目前的损失函数是建立于 LR/HR/SR 图像之间的限制并优化层面上的。在实际应用上，通常把这些损失函数进行加权得到，对SR问题来说，最有效的损失函数还不明确。因此，一项有意义的研究工作是，如何找到 LR/HR/SR 图像间的潜在联系并找到更加准确的损失函数。
• Normalization，虽然BN在视觉问题上大量使用，但是在SR问题上，BN并不是最佳的规范化效果，有时使用BN反而会得到不好的效果。因此，在SR领域，其他有效的规范化技术是需要被提出的。

3.Evaluation Metrics（评价方法）

• More Accurate Metrics，传统的PSNR/SSIM图像质量评价方法并不能客观反应图像的主观效果，MOS方法需要大量的人力成本并且不能再现。因此，更加精确的图像质量评价方法亟待提出。
• Blind IQA Methods，目前所提到的SR问题，都是LR-HR图像对做出的，但是，在这类数据集是很难获得的，大部分都是通过人工手段获得的LR-HR图像对。这样，在评价这类问题时，就变成了反向预测退化问题的过程，因此，无依赖的图像质量评价方法是有很大需要的。

4.Unsupervised Super-resolution（无监督图像超分辨率）

文中提到了一些已有的无监督超分辨率工作：

A. Shocher, N. Cohen, and M. Irani, “zero-shot super-resolution using deep internal learning,” in CVPR, 2018.

A. Bulat, J. Yang, and G. Tzimiropoulos, “To learn image super- resolution, use a gan to learn how to do image degradation first,” in ECCV, 2018.

Y. Yuan, S. Liu, J. Zhang, Y. Zhang, C. Dong, and L. Lin, “Unsu- pervised image super-resolution using cycle-in-cycle generative adversarial networks,” in CVPRW, 2018.

D. Ulyanov, A. Vedaldi, and V. Lempitsky, “Deep image prior,” in CVPR, 2018.

目前大量的SR方法都是使用Matlab Bicubic方法获得LR图像，用LR-HR作为SR网络的训练数据，这样SR问题会变成预先定义图像退化过程的逆过程，在自然低分辨率图像上应用这类SR方法，效果会很不好。因此，在未来的研究领域，没有LR-HR图像对的无监督图像超分辨率问题是有意义的研究方向。

5.Towards Real-world Scenarios（面向真实场景）

Image super-resolution在真实场景上，往往会受到“不明确的图像退化过程”，“缺少LR-HR图像对”等的条件限制，使得现有的SR算法难以实际应用。

• Dealing with Various Degradation，解决多种图像退化问题，针对不同方式获得的LR图像。目前已有一部分这方面的工作，但是存在一些固有缺点，如模型难以训练，过于理想的假设条件。
• Domain-specific Applications，特定领域的应用，SR算法不一定非要用于特定领域数据或场景中，SR算法同样可协助处理其他视觉问题，如视频监控、人脸识别、目标跟踪、医学图像、场景渲染等。SR算法可用于这类视觉问题的预处理或后处理。
• Multi-scale Super-resolution，目前大部分SR网络是针对固定放大尺寸训练的，实际应用中，有一定局限性。使用单一网络的进行多尺度图像超分辨率，有一定的研究价值。最近在CVPR 2019上，旷视提出了“Meta-SR: A Magnification-Arbitrary Network for Super-Resolution”：单一模型实现任意缩放因子。是这一研究方向的最新进展。