论文阅读：Multi-Scale Progressive Fusion Network for Single Image Deraining

坐得住凳子。

2020CVPR：MSPFN

这篇文章是2020CVPR的一篇文章，作者来自武汉大学。文章主要结合金字塔结构、信道注意力机制进而协同地表示出多尺度的雨纹信息，提出了一种MSPFN网络。

代码：戳我

本文主要提出了一种多尺度渐进融合网络(MSPFN)。
对于雨的成像原理，由于雨和相机之间的距离不同，导致图片中的雨水会呈现出不同的模糊度和分辨率，因此可以利用多分辨率和多尺度之间的互补信息来表示雨纹。本文主要提出了一个框架从输入图像尺度和层次深度特征的角度，探讨了雨纹的多尺度协同表示，进而完成去雨。
对于不同位置的相似雨纹，采用了递归计算来获取全局纹理，从而探索空间维度上的互补和冗余信息来表征目标雨纹。此外，还构建了多尺度的金字塔结构，并进一步引入了注意机制来指导不同尺度的相关信息的精细融合。
多尺度渐进融合策略提高协同表示并促进端到端训练。

主要创新之处：

1、基于雨纹的相关性，通过挖掘不同尺度雨纹之间的互补信息，包括相似的外观组
成等，并通过循环计算，对雨纹分布进行更好的建模。
2、通过三个不同的模块CFM+FFM+RM，结合金字塔结构、信道注意力机制进而协
同地表示多尺度的雨纹信息，提出了MSPFN网络。
3、将去雨方法用于检测、分割进行全面的评估。

网络结构：

首先是通过高斯核进行下采样构建出高斯金字塔结构，
然后通过初始层的卷积层提取出浅层特征，
然后将不同尺度的特征进行粗融合CFM，由多个并行的RRU组成，通过Conv-LSTM从多尺度中提取出全局纹理信息。
再将CFM提取到的特征进行细融合FFM，多个URAB模块级联，进行渐进尺度的融合。
最后通过RM模块进行重构聚合。

具体实现：

1、雨纹间的协同表示

雨纹之间的模式相似,都在相同的规模(以青色突出显示,粉红色和深蓝色的框)或跨不同尺度(高亮显示为红色,黄色,橙色和绿色框),可以帮助重建目标雨条纹(原雨中白盒图片)互补信息(如类似的外观,形成等)。

2、CFM 粗融合模块

1、基于每个尺度的初始特征，粗融合模块( CFM)通过多个并行残差回归单元(residual recurrent units , RRU)对多尺度雨纹信息进行深度提取和融合。
2、采用循环计算和残差学习来获取全局纹理信息，引入了Conv-LSTM 来对空间维度上的上下文纹理信息进行递归记忆建模，将上下文纹理关联转化为结构化的循环依赖关系来捕获互补或冗余的雨信息。
3、多尺度结构扩大了保持较浅深度下的感受野。
4、高分辨率的表现受益于前一阶段的输出，以及通过迭代采样和融合所有低分辨率金
字塔层。

3、FFM 细融合模块


1、通过级联多个细化融合模块（FFM）进行进一步的特征提取融合。
2、URAB（U型残差注意模块）：使用了strided convolution来减小feature的空间维数，最后利用deconvolution layer来提高分辨率，避免丢失分辨率信息。 引入了信道注意单元(CAU)来增强网络的识别学习能力。
3、级联FFMs之间采用长跳连接，实现多尺度雨信息的渐进融合，便于梯度的有效反向传播。

4、RM 重构模块

1、整合来自CFM和FFM的低阶和高阶多尺度特征。
2、将来自CFM的输出与来自最后一个FFM的输出连接起来，然后使用一个卷积层来学习信道的相互依赖性， 并重新调整两个模块的特征值。 同样地，采用迭代采样和跨不同金字塔层的雨信息融合来估计剩余雨图像。

5、损失函数

MSE： 由于平方惩罚会产生产生模糊和过度平滑的视觉效果及高频纹理的丢失。
利用Charbonnier罚函数对实际雨纹分布进行逐次逼近，该方法对小误差有较好的容忍度，且在训练过程中收敛性较好。

边缘损失：约束真实图像和预测的无雨图像之间的高频分量。

总损失：

分页