Natural and Realistic Single Image Super-Resolution with Explicit Natural Manifold Discrimination笔记

文章发表于CVPR 2019
论文及源码：https://github.com/JWSoh/NatSR

许多使用CNN网络的SISR模型使用失真导向（distortion-oriented）的损失函数，这类模型很难恢复真实图像纹理内容和细节，看起来较模糊，没有较好的视觉效果。恢复真实纹理和细节在图像超分辨领域仍然是一项挑战，目前有一些关于这方面的工作，如SRGAN，EnhancedNet，SFT-GAN，但是，这些方法在生成这些不真实（fake）细节时，通常会产生不需要的伪影，整幅图像看起来总有一些不自然。

文中，提出了一种重建真实超分辨率图像的方法，重构的图像具有非常高的视觉效果并保持图像的真实性。作者在低层图像域定义了真实先验（naturalness prior），并约束重构图像在自然流形（natural manifold）。

文章的主要贡献：
1.模型化SISR问题，探索可取的HR空间。
2.设计了基于CNN网络的自然流形鉴别器（natural manifold discriminator）。
3.基于不规则残差学习的CNN结构，distortion-oriented，即fractal residual super-resolution (FRSR)。
4.perception-oriented，natural and realistic super-resolution（NatSR)网络，可生成真实纹理和自然细节，获得高视觉质量。

Explicitly Modeling the SISR & Designing Natural Manifold

SISR问题的模型定义和自然流形的设计，具体看下图，无穷的HR图像可对应于同一LR图像，SISR问题是一对多问题。因此，首先定义HR空间，并把HR空间分成基于先验信息的3个子空间。

Natural Manifold Discrimination

Natural Manifold Discriminator (NMD)的网络结构和训练NMD的损失函数

Natural and Realistic Single Image Super-Resolution (NatSR)

Training Loss Function
1.Reconstruction Loss

2.Naturalness Loss

3.Adversarial Loss

使用相对真实生成对抗网络RaGAN，与ESRGAN使用的GAN相同。

Overall Loss
网络总损失函数，上述3部分组成。

FRSR:

NatSR：

这里，权重的如何选取，作者没有明确说明

网络结构

实验结果

从图像评价指标上看，NatSR算法并不是最好的，但是作者认为，在视觉效果上，NatSR效果更好，在图像纹理和细节方面表现更好。

最后，作者认为如果使用更深更重量级的网络，更好的NMD分类，提出的方法能产生更加自然和真实的细节。