Attentive Generative Adversarial Network for Raindrop Removal from A Single Image论文理解

 

概述:

在去雨的过程中给网络加上了attention提取,让网络能够更好地学到有雨滴部分的差别。

Attentive Generative Adversarial Network for Raindrop Removal from A Single Image论文理解_第1张图片
网络结构如下:

首先使用attention提取网络来获得包含雨滴的图像的attention图像(值在0-1之间,包含雨滴的地方值较大),attention提取网络中使用通过原图与gt相减并进行二值化处理之后获得的mask与网络得到的attention图来计算loss,以此来优化attention提取网络,loss如下

之后将得到的attention图与输入图像concatenate,输入到autoencoder网络,该网络通过在deconvolution阶段不同层与相同大小的gt求loss,并将最后得到的处理结果与gt输入vgg中提取特征后求一个perceptual loss

Attentive Generative Adversarial Network for Raindrop Removal from A Single Image论文理解_第2张图片

 

其中

鉴别器结构:

Attentive Generative Adversarial Network for Raindrop Removal from A Single Image论文理解_第3张图片

在鉴别器中去中间层的feature输入到一个cnn中,在通过CNN之后的output与attention map之间求loss:,R是随机的处理得到的图像和gt图像。最后总的loss

 

你可能感兴趣的:(深度学习)