Unified Dynamic Convolutional Network for Super-Resolution with Variational Degradations 论文解读

论文地址：https://arxiv.org/abs/2004.06965

总述：在单图像超分领域，现如今研究者只考虑某一种单一的退化过程(如双线性下采样)，或者是考虑多种退化过程，以此来更好地模拟现实世界的退化情况。然而，大部分工作都是以固定的方式来组合退化过程，或者为不同的退化类型训练神经网路。更可取的应该是训练一个网络来适应更加宽范围和多种类型的退化过程。因此，本文提出了一种适用于可变降质类型的通用图像超分方法，该方法能够适应inter-image(cross-image variations)和intra-image(spatial variations)多种退化类型。此外，作者嵌入了动态卷积，相比于常规卷积这更能解决多种退化类型。

介绍

现如今单图像超分这一课题得到了广泛的研究。超分辨率的任务就是从低分辨率的图像恢复成高分辨率图像并且能够弥补退化过程中丢失的细节和纹理信息。目前，已有的超分方法均是考虑单一的退化过程(如双线性下采样)，而这种方法并不能很好的反映真实世界的退化过程；此外，还有一些研究者致力于研究基于多降质的单图像超分方法，但均是根据不同的退化模型训练神经网络，本文在前人的研究基础上，提出了一种通用的多降质超分方法，能有效解决图像内和图像间的多种退化类型。此外，作者发现运用动态卷积，能够更好地解决多种退化的问题。

上图展示了不同退化过程的超分结果。可以发现RCAN和ZSSR无法解决多种退化过程，而针对这一问题本文提出的UDVD却取得了更加好的超分结果。

方法

1. 问题描述
   本文主要关注含有模糊，噪声和下采样三种退化类型的单图像超分问题。退化过程描述如下：
   
   这里，k 使用的是各向同性的高斯模糊核，n 使用的是加性高斯白噪声，下采样过程选取bicubic。

2. 方法
   
   上图为本文提出的适用于多降质类型的通用单图像超分框架。它包含两个部分，分别为特征提取网络和细节加强网络。前部分结构主要用于提取输入低分辨率图像的high-level特征，比如局部细节，全局图像信息等等，后半部分则是同时进行图像增强和上采样复原，最终得到超分结果。

   使用不同退化类型来进行训练(训练数据的制作过程)：
   给定一张高分辨率的图像，逐步使用高斯模糊核，bicubic下采样，附加高斯白噪声，最终生成低分辨率图像。
   特征提取网络：
   该网络的输入包含低分辨率图像和降质模型的先验信息，其中先验信息是降质模糊核的主成分信息和噪声map，所有信息做concat的操作之后含有15+1+3=19个channel。该网络结构是堆叠多个残差块+全局跳连。对于模糊核的处理，需要使用PCA进行降维，可参考代码这里。
   增强网络：
   该网络由多个动态卷积块组成。首先将前一个动态卷积块的输出经过3个卷积得到多个特征图，然后将其与之前特征提取网络提取到的high-level特征做concat之后，经过上半部分两层卷积，预测出残差图像；经过下半部分一层卷积和动态卷积预测每个像素点的kernel；最后将预测出的kernel与上一个动态卷积块的输出进行逐像素卷积得到的结果与残差图像做个sum操作，最终得到超分的结果 [这个地方其实存在一些问题，因为网络是多个动态卷积块，不知道是哪一个动态卷积块做了upsample的操作，这个要等开源看到代码才能知道，论文里面没有详细阐述]。

3. 不同类型的动态卷积

   常规动态卷积：
   在常规的动态卷积中，通过卷积核大小为k的逐像素卷积核K进行卷积操作，该操作可描述如下：
   
   
   每个像素点都有一个kernel,该kernel与图像中对应位置像素及邻域像素做卷积来逐像素的增强图片质量。
   上采样动态卷积：
   将上采样的操作融入到动态卷积之中，可描述如下：
   
   

4. 多阶段损失
   因为增强网络是多个动态卷积块，所以每个动态卷积块的输出中间图像均需与HR图像做L2损失，损失函数如下：
   
   备注：这里可以看出除了第一个动态卷积块是上采样动态卷积块，其余的动态卷积块均是常规动态卷积块。

实验

1. 数据集和训练步骤(省略)

2. UDVD多种变体实验结果比较
   baseline：15个残差块+1个sub-pixel层；U：表示上采样动态卷积，D：表示常规动态卷积。
   

3. 动态kernel可视化结果
   
   从上图可以看出，UDVD可以产生动态卷积核来适应图像内容和不同的退化过程。

4. 合成图像上的实验结果
   [1].固定模糊核宽度和噪声水平，在Set5，Set14，BSD100上进行定量分析，UDVD取得最好的结果(表格中RDN和RCAN是只考虑某一个退化过程，而IRCNN和SRMD则是解决不同退化模型)。
   
   [2].空间变化的退化过程。不固定模糊核宽度和噪声水平，该实验主要验证动态卷积的有效性。从图5也可以看出，不考虑空间变化的情况，RCAN只能解决某种固定的退化模型[红色部分]，对于其他类型的退化图像效果不好[蓝色部分]。另外，SRMD和UDVD均可以解决空间变化的退化情况，但是UDVD产生的结果更加清晰。
   
   
   [3].无噪声的退化情况(仅有高斯模糊退化)。从下表可以看出，SFTMD之所以优于UDVD，是因为SFT起了很大的作用。所以，如果在UDVD引入SFT，可以取得更好的结果。
   
   [4].固定退化过程。BI ：bicubic下采样，DN：Bicubic下采样+噪声水平为30的高斯白噪声。除了SRMD和UDVD,其余的方法均是分别针对BI和DN两种退化模型进行训练得到的模型，而SRMD和UDVD则是训练一个同时解决BI和DN的模型。由此可以看出，考虑单个模型，UDVD在BI和DN退化模型上取得结果均是可观的。
   
   [5].真实图像上实验结果。从图6可以看出，在真实图像上，RCAN产生的边缘模糊并且不能处理噪声；ZSSR往往产生过于平滑的结果；虽然SRMD能够很好的处理这些伪影，但是其产生的边缘不够尖锐。相比较而言，UDVD能够重建更加清晰的超分结果。图7展示了UDVD对不同退化过程的估计情况，可以看出针对不同的退化情况，UDVD均可以重建很好的结果。
   
   

结论

这篇论文提出了一种针对可变降质类型的图像超分方法，最大的贡献在于发现使用动态卷积能够更好的解决多种退化类型。实验部分很充分，定量定性分析都做的有理有据，是值得学习的一篇工作。