【CVPR20超分辨率】Closed-loop Matters: Dual Regression Networks for Single Image Super-Resolution

废话：个人认为是目前超分领域比较有实际意义的一项工作，很有亮点，对论文的理解还比较浅，需要多加理解及知识补充，欢迎讨论！

论文：https://arxiv.org/pdf/2003.07018.pdf
代码：https://github.com/guoyongcs/DRN

出发点

目前学习从LR到HR的映射关系的超分网络存在两个问题（1）超分是一个“病态”问题，一张LR图像可以对应多个HR图像，因此可能的映射关系的空间巨大，找到正确的对应关系很困难（2）真实场景下很难获取成对的LR-HR数据，直接给出一张LR图像的话并不清楚他是如何退化而来的，而且真实LR图像和合成图像的分布也不会一致，现在的方法无法适应具体情况。

创新点

为解决上述两个问题，作者提出了对偶回归方法。通过在LR数据上引入附加约束来减少可能的映射关系的空间：具体表现为除了学习LR到HR的原始映射，还额外学习从HR到LR的对偶映射，形成了一个LR到HR到LR的闭环。这样的对偶过程也并不依赖HR图像，所以可以解决真实数据的超分问题！（很有意义）

方法

1. paired data成对数据
   
   记$x\in \mathcal{X}$为LR图像，$y\in \mathcal{Y}$为HR图像。同时学习一个原始映射$P$（$\mathcal{X}\to \mathcal{Y}$）来重建出HR图像和对偶映射$D$（$\mathcal{Y}\to \mathcal{X}$）来重建出LR图像。
   训练的损失函数如下：
   

2. unpaired data非成对数据
   
   对于真实LR数据,不存在对应的HR图像即GT与之成对，LR图像的退化过程也不可知，这种情况下的训练策略如上图。为了保证重建图像的质量，需要添加一部分成对的合成数据（简单双三次三采样退化）。
   训练时选取m个无标签数据$S_U$和n个合成数据$S_P$，（数据比例$\rho =m/m+n$,实验表明百分之30结果最好）损失函数为：
   
   其中$1_{S_P}$$表示数据为合成数据时取1，无标签数据时取0。

训练细节

黑线表示原始映射，红线表示对偶映射，网络采用U-net结构。

实验

常规BI退化结果比较（SOTA）

不成对的合成数据的结果
不成对的真实数据结果

消融实验
对偶策略的影响？
参数$\lambda$的影响？
参数$\rho$影响？