Unpaired Image Super-Resolution using Pseudo-Supervision

这篇文章提出了现有超分网络构造数据集时，通常采用将HR图像直接下采样或加模糊核和噪声后下采样来构造LR图像，但是这样构造的LR图像与真实LR图像有较大区别，因此使用此种方式构造的LR-HR数据集训练出的网络对真实世界的lr图片没有很好的泛化能力，往往会造成生成HR图像效果差等问题，为了解决这个问题，这篇论文提出了一种非成对的对抗网络。
盲超过程中的非成对的对抗有两种方式：一种是直接对抗，LR源图像经过生成器生成HR图像与不成对的标签HR图像做对抗，使生成器学习上采样过程，使生成的HR图像尽量高清，这种方法的缺点在于没有办法用常用的逐像素损失等损失函数因此无法很有力的约束生成的HR图像，导致生成的HR图像效果不佳

第二种为非直接对抗，利用HR源图像，通过生成器生成LR图像，并于不成对的标签LR图像做对抗从而使生成器学习其退化过程，使生成的LR图像尽量逼近真实世界图像，再通过另一个生成器上采样生成HR图像并于初始源HR图像作损失，从而学习了从生成的逼近真实世界LR图像到高清HR图像的映射，这种方法的缺点是通过生成器生成的LR图像与真实世界的LR图像差别较大导致测试时生成的HR图像效果不佳。

这篇文章提出的方法很好的解决了上述两种方法中的问题。通过将两种方法结合起来，第一种方法的缺点通过第二种方法就可以很好的解决没有办法引入逐元素损失等常见图像恢复损失的问题，而第二种方法通过与第一种方法的结合就可以解决没有真实世界LR图像导致的训练出的网络无法泛化真实世界LR的问题（引入不成对的LR图像源），其实就是第二种方法辅助第一种方法进行网络训练。

后回到本文的基本问题，通过非匹配对抗网络来解决退化问题，首先这篇文章的网络将退化分为两步，第一步通过下采样和添加高斯模糊核生成一个clean LR，后通过深层可学习的网络（RCAN去掉上采样）并与真实LR图片进行对抗，使clean LR进行内核校正（模糊核大小不同对图片的模糊处理程度也不同片）和添加噪声，使生成的LR图像与真实LR图像的各个位置上的模糊程度和噪声基本相同，后利用生成的逼近真实世界的LR图片与真实世界的与HR不配对的LR源图片一起训练超分过程，首先生成的LR图片通过可学习的网络（RCAN去掉上采样）生成去噪和固定模糊核下的图片，在这里体现出了分两步进行退化和超分的好处，可以线性进行去噪和去模糊（主要为去噪），在此可以与退化支路时的clean LR进行对抗从而使去噪和去模糊更加完善（毕竟增加了一个损失），后生成的LR图像经过去噪和去模糊后输入上采样学习层（RCAN），生成HR图像，由于利用HR源图像退化的LR图像可以由此生成HR图像，并以HR源图像作为标签，由此可以引入常见的逐像素损失等，用以训练超分网络，而真实的LR图像也经过训练的超分网络结构生成HR图像，最后一个对抗很有新意，利用伪逼近真实世界的lr图像生成的SR图像与真实世界的LR图像生成的SR图像作对抗，并令生成的SR图像的风格尽量逼近真实世界LR图像生成的SR图像的风格，这样就可以很好地训练网络，使网络学习到真实世界的LR图像到SR图像的过程并且还可以使用L1等常用的超分损失进行约束，增强了对真实世界LR图像的泛化能力，注：此处需要大量的损失保证真实世界的lr图像生成的SR图像不含噪声等干扰因素避免人为的通过对抗向SR图像中添加噪声。
损失函数首先用了常见的对抗损失和逐元素损失，这里略过，其次用了循环一致性损失，此处通过约束退化后的图片到去噪的图片保证了网络的去噪力度


之后的身份损失通过直接将clean LR输入去噪网络并与自身作损失，保证了在去噪过程中像素不会变异，无噪声图像输入去噪网络后，不会产生干扰因素影响超分结果。

最后为一个几何损失，这个损失主要为了保证旋转和翻转后的图片保持结果相同，其实就是变相的通过这个损失约束去噪过程的一致性，例如LR图像经过旋转得到两张LR图像，经过去噪生成两张去噪后的LR图像而该损失就是通过将去噪后的旋转的LR图像旋转回原位并与去噪后未旋转的LR图像做损失，来增强其去噪能力


就相当于做了8组不同分布的噪声但去噪后的八组图片有相同的标签。