A Model-driven Deep Neural Network for Single Image Rain Removal阅读分享

说明

• 论文题目：模型驱动的深度神经网络用于单幅图像去除雨水
• 代码地址：https://github.com/hongwang01/RCDNet

一.本文主要研究内容

虽然当前一些DL已经对去单张图像去除雨水问题达到了很好的效果，但是当前的大多数DL体系结构仍然缺乏足够的可解释性，本文提出了一种基于模型驱动的可解释性网络结构， rain convolutional dictionary network(RCDNet)并且对于单张图像去雨水问题,有很好的通用性和更好的去除效果。

二.本文的创新点

• 提出了一个可解释性模型RCDNet，并具体采用了最近邻梯度技术设计了一种求解该模型的优化算法，并且该算法很容易通过网络模块实现，使得该算法能够轻松地扩展到深度网络体系结构中。
• 该网络的特殊性在于其各模块与算法运算符之间存在精确的逐步对应关系，因而模块与算法运算符之间具有可解释性，所以网络中间层的每个输出都具有清晰的解释，这极大地促进了对训练期间网络内部发生的情况的更深入分析，并全面理解了网络为何有效。
• 实验结果从定量和视觉上证实了RCDNet的优越性，并且普通用户不仅可以通过可视化所有网络层来直观理解网络的合理性，而且可以产生普遍的雨粒形状，为多雨图像提供先验知识，从而为进一步为合成更多真实多雨图像提供可用性。

三.本文的主要研究方法

3.1RCD模型（雨层合成过程）

O表示：合成的带有雨水的图像

B表示：背景图像信息

R表示：雨水条纹信息

C表示：提取条纹的卷积核

优化目标：

3.2优化算法

因为上面的优化目标是M和B，所以分别进行优化

更新M的公式（5）理解：当M(s-1)不在发生变化时也就是损失对M的导数为零，即M（s-1)达到最优解，此时只有令M=M（s-1)才能使（5）最小

随着得带次数S的增加，更新M和B中可以得到最优的解，从而能是优化目标最小化。

3.3网络结构设计（根据优化算法）

网络需要学习的参数：

模型初始化问题：M(0):设置为全0，B(0):根据O卷积形成的

3.4训练损失函数

四.实验

• 本文训练采用Rain100L数据集中200对合成数据集，测试采用100对数据集和真实雨天数据。
• 评价指标采用PSNR和SSIM
• M的个数N设为32

4.1消融实验（迭代次数S的研究）

S = 20时候的评价指标略低于S = 17的评价指标，分析原因是由于迭代次数越大梯度越难传播

4.2模型验证分析

随着S的增加，雨图R出现更多的雨水条纹，而且有关源图像的细节信息也会减少

RCD的一个可视化

4.3模型对比分析

4.4真实雨图训练并且测试分析

SPA-Data真实数据集训练采用638492对图片，测试采用1000张图片，Internet-Data数据147张真实雨图没有标签
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-al7zNZj4-1588983102823)(https://i.loli.net/2020/05/09/gAOvKnSDxbMweCh.png)]

五.结论

• 本文探索了雨条的内在先验结构，提出了一种新颖的可解释的单图像去除雨水网络架构RCDNet。
• 网络中的每个模块都可以一对一地对应于为求解模型而设计的算法，因此网络几乎是“白盒”，其所有模块元素都可以轻松直观地理解。
• 在合成和真实的雨天图像上进行的综合实验证明，这种可解释性为的网络取得了良好的效果。
• 通过网络的端到端学习所提取的元素（如雨核）也可能对下雨图像的相关任务有用。