【去噪去模糊去雨】Multi-Stage Progressive Image Restoration 多阶段渐进式通用图像恢复【CVPR2021】

论文：【CVPR2021】Multi-Stage Progressive Image Restoration 多阶段渐进式通用图像恢复

参考：多阶段渐进式图像恢复 | 去雨、去噪、去模糊 | 有效教程（附源码）|【CVPR 2021】

1. 研究问题：

图像恢复领域，即从低质量的图像恢复出高清图像。典型的低质量因素有噪声，模糊，水滴噪声，雾噪声等。

2. 该论文创新之处：

• 概述：基于CNNs的方法的性能表现很大程度上取决于模型结构的设计，但几乎所有的方法（如残差网络，空洞卷积，注意力机制等）都是基于单阶段设计。近期有一些工作尝试引入多阶段设计，实践证明多阶段的网络模型显示了更高的效率。该文章分析了这些方法，找出了限制性能提升的瓶颈点，并设计出了一个新颖的基于多阶段的方法。与其他的对比测试结果：

  

• 核心思想：现有的多阶段技术，要么使用编码解码器(编码阶段有效传播情境信息，但是在保留空间细节这里做的不好)，要么使用single-scale pipeline（空间精度做的很好，但是语义信息不太行）。证明了在多阶段图像修复工作上，同时使用两种结构才能更有效。

3. MPRNet主要组成：

3.1 主要框架结构：

• 主要有三个stage，前两个stage都是基于编-解码器的子网络，因为其感受野较大，可以学习较广泛的情景信息。而图像处理是一个输入输出都要像素对应的问题，所以最后一个stage直接在输入原图分辨率上使用一个子网络（没有使用下采样），这样最终输出结果可以保留着不错的图像细节。

• 并不仅仅使用简单的多阶段结构。在每两个阶段间使用有监督的注意力模块。在ground truth的监督下，模型重新调整先前阶段的特征图后，再传入下一个阶段。

• 引入CSFF（cross-stage feature fusion），该机制利用前一个stage的中间多尺度情景特征来巩固后一个stage的中间特征。

• 每一个stage都能获取到原始的输入图像数据，采取多补丁的层级结构，将数据按照非重叠的形式分块：阶段一4个，阶段二2个，原始不分块图像送入到最后一个stage

• 损失函数：
  

• Complementary Feature Processing：

  • Encoder-decoder
  • ORS

  现有的用于图像恢复的单级cnn通常使用以下结构设计之一:1).编码器-解码器，或2).单尺度特征管道。

  编码器-解码器网络[7,13,43,65]首先逐步将输入映射为低分辨率表示，然后逐步应用反向映射恢复原始分辨率。虽然这些模型有效地编码了多尺度信息，但由于重复使用下采样操作，容易牺牲空间细节。相比之下，基于单尺度特征管道的方法在生成具有良好空间细节的图像时是可靠的[6,18,93,97]。然而，由于接收域有限，它们的输出在语义上不太健壮。这表明上述架构设计选择的固有局限性，即既能生成空间上准确的输出，也能生成上下文上可靠的输出，但不能同时生成两者。为了利用这两种设计的优点，我们提出了一个多阶段框架，其中早期阶段包含编码器-解码器网络，而最后阶段采用了一个基于原始输入分辨率的网络。

3.2 各部分组成：

• 编-解码子网络（encoder-decoder sub）：基于标准的U-Net，首先添加CABs（b图中）用于提取不同层次的特征；其次，在U-Net的跳跃连接部分(skip connections)的特征图处也加入了CAB；最后，除了使用转置卷积来提升解码器中的空间分辨率，我们采用了上线性插值上采样(bilinear upsampling)+卷积(a convolution layer)的形式，这能减少通常由于转置卷积导致的棋盘伪影。

• 原始分辨率子网络（ORSNet，original resolution subnet）：为了保持输入的精细细节，在最后阶段引入ORSNet。ORSNet没有使用下采样，其中包含了多个原始分辨率的blocks(ORBs)，每一个都保留了CAB模块，故最后一个stage可以生成高分辨率的空间特征。

• 跨阶段特征融合（CSFF，cross-stage feature fusion）：

  • c图：将CSFF模块设置在stage1和stage2的两个编-解码器之间
  • d图：将CSFF模块设置在stage2的编-解码器和stage3（即最后一个stage）的ORSNet之间
  • 注意一个stage之后的特征首先需要经过1x1的卷积之后才会被传递给下一个stage进行整合。

  CSFF的优点：首先它让网络不易收到信息缺失的影响。其次，一个阶段的多尺度特征帮助下一个阶段的特征补充。最后，它通过简化信息流网络优化进程更稳固。

• 有监督的注意力模块(SAM，supervised attention module)：

该结构的贡献：首先，它提供了一个GT（ground true）监督信号，这个信号对于渐进式的图像恢复有意义。此外，这个局部监督信号的引入抑制当前阶段信息量较小的特征，使得只有有效的信息会被送入到下一个stage。

4. 代码实践：

• 代码解释：

  • pytorch-gradual-warmup-lr：PyTorch的逐步预热学习速率调度程序

    • 有助于减缓模型在初始阶段对mini-batch的提前过拟合现象，保持分布的平稳
    • 有助于保持模型深层的稳定性

  • checkpoint文件：在模型生成的过程中，用来记录关键点的文件，例如在游戏打boss前需要存游戏进度一样。即checkpoint文件包含了当前实验的状态，可以让你在该点恢复训练

    checkpoint文件的作用

• 数据集：

  - Rain100L：里面包含rain图片和norain图片，用于图像去雨方向的数据集，雨的密度比较小
  - Rain100H：里面包含rain图片和norain图片，用于图像去雨方向的数据集，雨的密度比较大
  - Rain800：原本是拼接的两幅图在一起，不方便同时训练多个*数据集*的方式，因此对其进行了分割重组以方便使用。
  - Rain1200：里面包含rain图片和norain图片，用于图像去雨方向的数据集，含有1200个无雨和有雨图片
  - Rain12600：里面包含rain图片和norain图片，用于图像去雨方向的数据集，无雨图片有900张，每张图片对应14张不同方向密度的有雨图片。

• 评估指标：

  • PSNR (Peak Signal-to-Noise Ratio) 峰值信噪比：基于对应像素点间的误差，是使用最广泛的一种图像客观评价指标，但未考虑人眼的视觉识别感知特性，常出现评价结果和人主观感觉不一样的情况
  • SSIM（Structural Similarity）结构相似性：SSIM取值范围[0,1]，值越大，表示图像失真越小。
  • MSSIM（Mean Structural Similarity ）平均结构相似性：用滑动窗将图像分为N块，加权计算每一窗口的均值、方差以及协方差，权值wij满足∑i∑jwij=1，通常采用高斯核，然后计算对应块的结构相似度SSIM，最后将平均值作为两图像的结构相似性度量。

• 去雨结果：

• 去模糊、去雨、去噪音总结果
  

  完整排名

• Ablation Study(消融性分析/组件性能测试)：这部分的主要意义在于移除模型中的各种组件，来探究各个因素对于模型整体贡献的强弱多寡, 找到对性能最主要的影响因素。所以从该测试中，可以控制各个潜在的影响因素，以观察他们对于整体表现的影响，并从中找出最为重要的提升组件。同时也可以找出一些对模型性能影响微乎其微的模块，以便简化模型提高效率。

使用去模糊模型在GoPro数据集上测试，图片大小为128*128，迭代$10^5$次

• 阶段数：随着stage越多，模型表现的性能越好。

• 子网络选择：每一个阶段中，混合型子网络比单一型子网络效果好。如stage2中混合型的得分(29.7)比其他两项单一型的性能好。

• SAM和CSFF：从stage3中可以看到，同时使用SAM和CSFF的效果最好（30.49）。

• 计算效率：