深度学习超分辨率重建总结（下）

6. 《Enhanced Deep Residual Networks for Single Image Super-Resolution》

EDSR模型 和 MDSR模型

论文链接：https://arxiv.org/abs/1707.02921
全文翻译：https://mp.weixin.qq.com/s/xpvGz1HVo9eLNDMv9v7vqg
项目链接：https://github.com/jmiller656/EDSR-Tensorflow

主要思想：

1. 去掉 BN 层：原来的 ResNet 使用来解决计算机视觉问题，如图像分类和检测。 因此，将 ResNet 架构直接应用于超级分辨率等低级视觉问题可能不是最佳的。批归一化层（Batch Normalization，BN）会使特征标准化，同时使网络丧失范围的灵活性，因此去除了 BN 层。
2. 分别提出了单一尺度和多尺度模型。

网络模型：

1. EDSR：适用于单一尺度，放大其他倍数的网络可以用放大2倍的数据预训练，提升了训练的速度。

2. MDSR：适用于多尺度，特征提取和重建层参数不共享，中间的映射层参数共享。

7. 《Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network》

SRGAN模型

论文链接：https://arxiv.org/abs/1609.04802
项目链接：https://github.com/tensorlayer/srgan

网络模型：

生成器

鉴别器

损失函数：

本文的主要贡献就在于设计了感知损失（Perceptual Loss）。分为内容损失（Content Loss）
和对抗损失（Adversarial Loss）两部分。

1. 内容损失：

传统的内容损失使用的都是 MSE，而 MSE 的损失函数使得输出缺乏高频成分，过于光滑不适宜人们阅读，所以本文在基于预训练的 VGG19 的 RELU 激活层来定义 loss 函数，定义如下：

上式是通过欧氏距离定义的，其中 φ_i,j 是 VGG19 里面第 i 个最大池层之后的第 j 个卷积层所提取到的特征，W_i,j 和 H_i,j 是各自的特征维度。

2. 对抗损失：

基于判别器的概率定义对抗损失，定义如下：

8. 《To learn image super-resolution, use a GAN to learn how to do image degradation first》

论文链接：https://arxiv.org/abs/1807.11458
项目链接：Pytorch: Face-and-Image-super-resolution

这篇文章不是很经典的模型，是我搜集资料的时候看到的，我觉的还是有一些创意的，可以提供一些启发。

算法步骤：

1. 使用不同的未配对数据集，训练 High-to-Low GAN 网络。
2. 用上一步的输出结果，用成对训练数据训练 Low-to-High GAN 网络。

相当于是第一个阶段我们学习到降级模型以便于获取成对数据集，然后在第二个阶段进行SR。

网络模型：

H-to-L 生成器

L-to-H 生成器

鉴别器

损失函数：

本文的损失函数如下图所示，由 L₂ 像素损失和 GAN 损失两部分组成。由于L₂ 像素损失会使图像变得平滑，因此 GAN 损失占的比重较大。

GAN 损失的定义如下：

L₂ 损失（也就是 MSE 损失）的定义如下：

9. 《Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation》

VESPCN模型

论文链接：https://arxiv.org/abs/1611.05250

算法流程：

1. 通过 Motion estimation 估计出位移，然后利用位移参数对相邻帧进行空间变换，将二者对齐；
2. 把对齐后的相邻若干帧叠放在一起，当做一个三维数据，在低分辨率的三维数据上使用三维卷积，得到的结果大小为 W×H×r²；
3. 利用 ESPCN 的思想将该卷积结果重新排列得到大小为 rW×rH×1 的高分辨率图像。

本文提出了一个空间变换网络，通过 CNN 来估计空间变换参数，从而实现 Motion estimation。这一步我没有仔细看，所以在这里就不说了。

---

方法看的不是很全，有很多地方都是我自己理解的。虽然近期应该不会再做 SR 方面的工作了，不过通过这段时间的学习，还是学到了很多。

最后附上一个 GitHub 上关于 SR 的总结：https://github.com/YapengTian/Single-Image-Super-Resolution