读论文：Learning a Single Convolutional Super-Resolution Network for Multiple Degradations

源码：[https://github.com/cszn/SRMD]

1 介绍

1.在典型的SISR框架中，将LR图像y建模为以下退化过程的输出：

x表示：HR图像
k表示：模糊核
↓s表示：缩小s倍的降采样操作
n表示：加性高斯白噪声
2.本文的主要贡献有以下三点：
（1）提出了一个简单而有效且可扩展的CNN框架，超越了广泛使用的双三次降质假设，并且适用于多种甚至是空间变异的降级。
（2）提出了一种新颖的维度拉伸策略，以解决LR输入图像，模糊核和噪声水平之间的维度不匹配问题。
（3）不仅可以产生更好的重建效果，而且可以在真实LR图像上产生视觉上可信的结果。

2 方法

2.1 退化模型


高分辨率图片可以退化成多个低分辨率图片（通过不同的模糊核和噪声）通过提到的两个你同等式

2.2 MAP框架的视角（Maximum a posteriori estimation最大后验概率）




y：LR图像
x：HR图像
k：模糊核
σ：噪声水平
Θ：MAP的推断参数
从MAP框架的角度来看，可以看到SISR的目标是学习映射功能（公式6）。MAP推理的参数主要是对先验建模，因此CNN可以通过单个模型处理多种退化。
inputs y, k and σ have different dimensions.
LR图像y，k和σ有不同的维度，因此引入维度拉伸策略。

2.3 维度拉伸策略

Suppose the inputs consist of a blur kernel of size p×p, a noise level σ and an LR image of size W×H×C, where C denotes the number of channels.
模糊核k向量化从$$p\times p到p^2\times 1$$并通过PCA（主成分分析）投射到t维线性空间。然后级联噪声σ并拉伸为降解图W × H × (t + 1)。

2.4 提出网络（SRMD）

例如，重建比例因子为s的LR图像，SRMD首先级联LR图像和退化图得到W × H × (C + t + 1)的输入，然后进入非线性映射层（CNN），最后通过亚像素卷积层使$$W\times H\times s^{2}C到sW\times sH\times C.$$

2.5 为什么不学习一个盲目的模型
1.LR图像可能对应于具有像素移位的不同HR图像。（给定HR图像，模糊内核和相应的LR图像，将HR图像向左移动一个像素，并将模糊内核向右移动一个像素，将得到相同的LR图像。）
2.没有经过专门体系结构设计的盲模型具有较差的泛化能力，并且在实际应用中性能较差

3 实验结果

3.1 训练数据合成和网络训练
模糊核：

训练集： including 400 BSD images, 800 training images from DIV2K dataset and 4, 744 images from WED dataset .（对HR图像进行模糊核，比例因子s的双三次降采样和加性高斯白噪声。）

损失函数为：

3.2 双三次降采样的实验

3.3 一般降采样实验

3.3 空间变异退化实验

3.4 真实图像实验

找到更符合真实图像降采样的模糊核和噪声水平：
为了找到具有良好视觉质量的降级参数，我们使用网格搜索策略，而不是采用任何模糊核或噪声水平估计方法。 具体来说，以0.1的步幅从0.1到2.4均匀采样内核宽度，以5的步幅从0到75均匀采样噪声水平。