Unsupervised Single Image Dehazing via Disentangled Representation ICVIP(2019)

摘要:图像去雾的目的是从相应的退化模糊图像中恢复出潜在的清晰内容。本文提出了一种基于非纠缠表示的无监督单幅图像去雾方法。我们提出的方法不依赖于物理散射模型,也不需要成对的训练数据。我们提出了一种内容编码器和模糊编码器,分别从模糊图像中分离出内容和模糊信息。我们提出了一种潜在的回归损失,以鼓励生成的图像保留烟雾信息,并强制烟雾编码器从烟雾图像中提取烟雾信息。引入了循环一致性损失,保证了去模糊图像与原始图像具有相同的内容结构。我们还对去雾图像使用对抗性损失,以确保无雾且视觉逼真。在公共dehazing数据集Residence上的大量实验结果表明,该方法优于现有的无监督方法,并且可以实现与现有监督方法相当的性能。

Unsupervised Single Image Dehazing via Disentangled Representation ICVIP(2019)_第1张图片

主要贡献:1。我们提出了一种无监督的单幅图像去雾方法,该方法不依赖于物理散射模型,也不需要成对的训练数据。2、我们探索了无监督图像去雾的解纠缠表示,并利用内容编码器和haze编码器来解纠缠内容和haze信息。3.在常驻数据集上的大量实验结果表明,该方法优于目前最先进的无监督脱氮方法,并能与现有的有监督去雾方法取得竞争性的性能。

网络结构

Unsupervised Single Image Dehazing via Disentangled Representation ICVIP(2019)_第2张图片

该网络由四个部分组成:1)haze域的内容编码器Exc和clear域的内容编码器Eyc。内容编码器由一个1步卷积层、两个2步卷积和五个残差块组成。每个卷积层后面是实例规范化和Relu函数。2) haze编码器Eh用于haze域。haze编码器包含一个跨步1卷积层,四个跨步2卷积层。全局平均池用于将特征映射压缩为全局向量。3) 去雾域生成器Gx和haze域生成器Gy。生成器有四个剩余块,后跟三个转置卷积层。4) 去雾域鉴别器Dx和hazed域鉴别器Dy。对于鉴别器,我们使用PatchGANs,它由五个stride-2卷积层组成,然后是实例范数和Relu。当给定一个未配对的训练样本(x,y)时,其中x来自清晰域,y来自模糊域,Exc和Eyc分别从x和y中提取内容信息。他从x中提取雾度信息z。Gx取Exc(x)生成无雾图像u,Gy取Eh(x)和Eyc(y)生成由x的雾度信息和y的内容信息组成的雾度图像v。然后我们再次对生成的未对图像进行编码和解码,以重建原始的未对图像。

内容和模糊度的分离

基于两个域共享一个共同的潜在内容空间的假设,我们在Exc和Eyc之间共享最后的剩余层,以将输入图像嵌入到共享的内容空间中。通过这一步,我们可以使用Eyc来指导Exc从模糊图像中提取内容信息。由于v与x具有相同的内容,并且haze信息来自y,这迫使他从y中提取haze信息,而不编码y的内容信息。

损失函数

对抗损失

对于无雾图像域,对抗性损失定义为:

对于模糊图像域,对抗性损失定义为:

 循环一致性损失

Unsupervised Single Image Dehazing via Disentangled Representation ICVIP(2019)_第3张图片

 潜在回归损失 为了鼓励生成的图像保留z的霾度信息,并强制霾度编码器从霾度图像中提取霾度信息,我们提出了一种潜在回归损失,其公式如下:

Unsupervised Single Image Dehazing via Disentangled Representation ICVIP(2019)_第4张图片

 潜在向量z由先验高斯分布p(z)得出。然后利用提取的雾度矢量指导模糊图像的合成。最后,完整的目标函数是所有损失的加权和:

消融实验

Unsupervised Single Image Dehazing via Disentangled Representation ICVIP(2019)_第5张图片

 借助于所提出的haze编码器,可以从PSNR和SSIM方面分离出内容和haze信息,并改善脱雾性能。然而,黑暗区域的烟雾无法消除,仍然存在一些颜色失真。最后,添加潜在回归损失显著改善了脱叠性能,我们观察到PSNR和SSIM都有显著改善。从图4(d)中,我们发现从黑暗区域中去除了许多烟雾,并且脱雾结果更接近图4(e)中的地面真实情况。仅添加hazy编码器不能保证生成的图像保留hazy信息,也不能保证hazy编码器准确提取hazy信息。提出的潜在回归损失迫使生成的图像保留输入的雾度信息,并帮助雾度编码器更准确地提取雾度信息。定量结果和定性结果均表明,该方法在PSNR和SSIM方面的图像去噪性能最好,视觉效果最好。

 实验结果

Unsupervised Single Image Dehazing via Disentangled Representation ICVIP(2019)_第6张图片

 结论

 本文提出了一种无监督的单幅图像去叠方法,该方法不依赖于物理散射模型。我们分别从模糊图像中分离出内容和模糊信息。我们提出了一种潜在的回归损失,以鼓励生成的图像保留烟雾信息,并强制烟雾编码器从烟雾图像中提取烟雾信息。循环一致性损失有助于脱雾图像保留原始图像的内容,对抗性损失使脱雾图像无雾且视觉逼真。烧蚀研究表明了所提出的各个模块的有效性。大量的实验结果表明,该方法优于现有的无监督方法。

Unsupervised Domain-Specific Deblurring via Disentangled Representations(IEEE2019/3)

Unsupervised Single Image Dehazing via Disentangled Representation ICVIP(2019)_第7张图片

Learning Invariant Representation for Unsupervised Image Restoration(CVPR2020/6)

Unsupervised Single Image Dehazing via Disentangled Representation ICVIP(2019)_第8张图片

 

Efficient Unpaired Image Dehazing with Cyclic Perceptual-Depth Supervision(2020)

Unsupervised Single Image Dehazing via Disentangled Representation ICVIP(2019)_第9张图片

你可能感兴趣的:(计算机视觉,深度学习,机器学习)