论文阅读：Uncertainty Guided Multi-Scale Residual Learning-using a Cycle Spinning CNN for Single Image De

这是后面发现的一个2019年CVPR的一篇去雨文章，遗珠。

2019 CVPR ： UMRL

这是2019CVPR的一片文章，作者来自约翰霍普金斯大学，也有不少文章，Rajeev Yasarla
这篇文章主要是基于估计的置信度引导学习权值，并融入了循环旋转框架来去除伪影。

代码：UMRL

雨图中可能会包含大小、方向、密度不同的雨纹，之前的一些利用图像先验的方法由于没有考虑到雨在图片中的位置信息而效果欠佳，所以本文以多尺度的方式考虑进雨纹的位置信息。
本文主要提出了一种不确定性引导多尺度残差学习网络（UMRL）来学习不同尺度下的雨纹信息来估计出最终的雨图，同时还使用了一种cycle spinning框架来去除伪影，提高性能。

主要点：多尺度 + 残差图自信图 + cycle spinning

主要创新之处：

1、提出了置信度映射，自信图。本文以多尺度的方式考虑进雨纹的位置信息，然后在向网络的后续层提供估计的雨纹信息即残差图时，可能会终止传播估计的误差，为此引入了一个置信度，来生成对应的自信图。在传递自信图的过程中，L层的不确定映射置信度较低的时候，L+1层可以丢弃在L层学习到的雨纹信息。
2、在去雨框架中融入了Cycle Spining循环旋转框架。循环旋转框架最初是为了去除正交小波在图像去噪中引入的伪影。与小波相似,基于深度学习方法也会在边缘引入一些伪影。在循环旋转框架中,数据首先平移一定数量,然后de-noised转移数据,然后un-shifted de-noised数据,最后un-shifted数据de-noised平均得到最终结果。

网络结构：

整体网络结构是基于U-Net和跳跃链接完成搭建。
首先是对输入图像进行了四次下采样获取到多尺度特征信息
其中网络中RN和CN网络模块分别用于生成残差图和自信图（Residual and Confidence Map ）。
将特征图传给RN网络，生成对应的残差图，用于表征图片中雨纹的位置信息。
将残差图和特征图传给CN网络，生成对应的自信图，用于估计雨的不确定性，置信度是残差图中残差值的确定程度。
同时残差图和自信图会传递给后面的阶段指导后续的训练。
这里的自信图与Attentive-GAN里面的注意力图有些相似，不过后者是用来传递位置信息。

具体实现：

1、主要模块结构：

首先是在U-Net结合跳跃链接的基础上构建三种尺度，并且注意到在不同尺度下残差图具有相同的方向和密度。

主网络结构：ConvBlock(3,32)-AvgPool-ConvBlock(32,32)-AvgPool-
Convblock(32,32)-AvgPool-ConvBlock(32,32)-AvgPoolConvBlock(32,32)-UpSample-ConvBlock(64,32)-UpSample-ConvBlock(67,32)-UpSampleConvBlock(67,16)-ConvBlock(16,16)-Conv2d(3 × 3),

细化网络RFN：Conv2d(7 × 7)-Conv2d(3 × 3)-tanh(),
以y - r^i 作为输入，生成去雨的 x ^i.
用于计算多个尺度下的去雨结果：

2、基础模块ConvBlock以及RN、CN的网络结构：

RN : Convblock(64,32)-Convblock(32,32)-Convblock(32,3)
CN : Convblock(67,16)-Convblock(16,16)-Convblock(16,3)

3、Cycle Spining循环旋转框架

对于大小为mn的图像，我们按照p行q列的步骤循环移动图像，得到位移后的图像，如图6所示。然后我们使用UMRL网络对移位的图像进行去雨处理，并对其进行反向移位和平均，从而在测试期间得到最终的去雨图像。

4、损失函数

confidence guided loss：

感知损失：

总损失：