【CV论文阅读笔记】使用DRN网络（双重回归网络）解决SR问题

【CV论文阅读笔记】使用DRN网络（双重回归网络）解决SR问题

本篇笔记来自CVPR2020年论文：Closed-loop Matters: Dual Regression Networks for Single Image Super-resolution

论文地址 ：https://arxiv.org/pdf/2003.07018.pdf
项目地址 ： https://github.com/fengye-lu/DRN-master

Motivation：

SISR（Single Image Super-Resolution)领域一直存在两个问题：

• 从LR（Low Resolution低分辨率图像）到HR（high Resolution高分辨率图像）是个典型的不适定问题（ill-posed problem），这意味着从LR到HR的可能的函数空间非常大，因此很难找到好的，鲁棒性更强的解决方案
• 因为在现实中从HR到LR的过程的退化方法通常是未知的，而我们使用的成对的训练数据又通常是通过特定的退化方法从HR到LR，所以训练后的模型在处理真实的LR图像时往往表现并不出色

注：什么是不适定问题：

图像处理中不适定问题（ill posed problem）或称为反问题（inverse Problem）的研究从20世纪末成为国际上的热点问题，成为现代数学家、计算机视觉和图像处理学者广为关注的研究领域。数学和物理上的反问题的研究由来已久，法国数学家阿达马早在19世纪就提出了不适定问题的概念:称一个数学物理定解问题的解存在、唯一并且稳定的则称该问题是适定的（WellPosed）。如果不满足适定性概念中的上述判据中的一条或几条，称该问题是不适定的。

典型的图像处理不适定问题包括：图像去噪（ImageDe-nosing），图像恢复（Image Restorsion），图像放大（Image Zooming），图像修补（ImageInpainting），图像去马赛克（image Demosaicing），图像超分辨(Image super-resolution)等。

迄今为止，人们已经提出许多方法来解决图像处理中的不适定性。但是如何进一步刻画图像的边缘、纹理和角形等图像中重要视觉几何结构，提高该类方法在噪声抑制基础上有效保持结构和纹理能力是有待深入研究的问题。

Solution：

• 针对问题1，在LR数据处理中加入额外的约束，设计一个反向网络实现HR–>LR的学习，实现更多的监督，来减少可能函数的空间大小
• 针对问题2，在引入了上述的HR–>LR的反向网络后，实际上可以只用LR图像（但数据集并不是只有LR图像，还有部分的pair data来帮助LR–>HR的学习）来进行训练，提升了模型在处理现实数据的表现
  

关于这种解决方式我认为可以这样理解：

我们假设模型P负责把LR图像变成好的HR图像，然后假设现在还有个模型D负责把HR图像变成最接近真实拍的LR图像，那么如果P做的不错，也就是说把一堆LR图像都转化成了一堆HR图像，但我们不知道模型P在现实任务中能不能也表现得这么好？那么这个经过处理的一堆HR图像在经过性能良好的模型D之后，应该能变回对应的一堆LR图像（其中有些是unpair data只有LR没有对应的HR），如果可以，那说明模型P即使在现实任务中也能做的不错

算法部分：

其中1sp是指示函数（indicator function),

网络架构如下所示：

整个网络是个UNet结构，其中，编码器部分由简单的卷积层和LeakyRelu组成，分辨率逐层降低。解码器部分由RCAB（残差结构+CA注意力）和pixelshuffle上采样组成。编码器和解码器组成了Primal回归任务。Dual回归任务对超分后的图像进行卷积下采样得到LR图像。

Experiment

作者在具有成对的Bicubic数据和不成对的真实数据情况下，对图像超分辨率任务进行了广泛的对比实验。所有实现均是基于PyTorch框架。测试数据集是五个基准数据集，包括SET5，SET14，BSDS100，URBAN100和MANGA109。评价指标是常用的PSNR和SSIM。训练集是DIV2K和Flickr2K数据集。模型PSNR分数在30左右表现性能良好。