图像去雨算法（基于卷积网络）

图像去雨算法文章：

https://pdfs.semanticscholar.org/bf10/3b3ea90f0d032d1d73dbb83ae41731ee006f.pdf

相应的代码和论文 http://www.icst.pku.edu.cn/struct/Projects/joint_rain_removal.html

首先雨图像的通用模型为：

其中O为捕捉到的图像，B为背景图像，是雨条纹的图像。传统方法主要有两个问题需要解决。1）在一幅图像中有多个密度。2）一些没有雨的去雨会造成过度平滑。

因此为了解决这个问题，本文提出了一个新的模型：

其中R是一些0-1值，0表示无雨区域，1表示有雨区域。这里有两个优点，1）给了网络额外信息去学习下雨的区域2）对于有雨和无雨区域的处理方式是不同的，因此这样可以保存更多图像的细节。

这里由于在大雨和远距离的情况下，图像会出现不同地方的雨的形状和方向不同或者模糊现象。因此对模型进一步改进得到下面的模型。

 

其中每个是同一方向和形状的雨点。s是叠加的数量，A是整体的大气亮度。

采用卷积神经网络来解决这个问题。

针对上面的公式，文中建立极大似然法（MAP）进行处理：

式子中后三项是三个先验（B、S、R）。采用卷积网络处理，首先通过dilated network来得到雨的特征F，R、S、B分别通过串联。主要流程如下：

损失函数是：

实验结果：