Unsupervised Single Image Dehazing via Disentangled Representation ICVIP(2019)

摘要：图像去雾的目的是从相应的退化模糊图像中恢复出潜在的清晰内容。本文提出了一种基于非纠缠表示的无监督单幅图像去雾方法。我们提出的方法不依赖于物理散射模型，也不需要成对的训练数据。我们提出了一种内容编码器和模糊编码器，分别从模糊图像中分离出内容和模糊信息。我们提出了一种潜在的回归损失，以鼓励生成的图像保留烟雾信息，并强制烟雾编码器从烟雾图像中提取烟雾信息。引入了循环一致性损失，保证了去模糊图像与原始图像具有相同的内容结构。我们还对去雾图像使用对抗性损失，以确保无雾且视觉逼真。在公共dehazing数据集Residence上的大量实验结果表明，该方法优于现有的无监督方法，并且可以实现与现有监督方法相当的性能。

主要贡献：1。我们提出了一种无监督的单幅图像去雾方法，该方法不依赖于物理散射模型，也不需要成对的训练数据。2、我们探索了无监督图像去雾的解纠缠表示，并利用内容编码器和haze编码器来解纠缠内容和haze信息。3.在常驻数据集上的大量实验结果表明，该方法优于目前最先进的无监督脱氮方法，并能与现有的有监督去雾方法取得竞争性的性能。

网络结构

该网络由四个部分组成：1）haze域的内容编码器Exc和clear域的内容编码器Eyc。内容编码器由一个1步卷积层、两个2步卷积和五个残差块组成。每个卷积层后面是实例规范化和Relu函数。2） haze编码器Eh用于haze域。haze编码器包含一个跨步1卷积层，四个跨步2卷积层。全局平均池用于将特征映射压缩为全局向量。3） 去雾域生成器Gx和haze域生成器Gy。生成器有四个剩余块，后跟三个转置卷积层。4） 去雾域鉴别器Dx和hazed域鉴别器Dy。对于鉴别器，我们使用PatchGANs，它由五个stride-2卷积层组成，然后是实例范数和Relu。当给定一个未配对的训练样本（x，y）时，其中x来自清晰域，y来自模糊域，Exc和Eyc分别从x和y中提取内容信息。他从x中提取雾度信息z。Gx取Exc（x）生成无雾图像u，Gy取Eh（x）和Eyc（y）生成由x的雾度信息和y的内容信息组成的雾度图像v。然后我们再次对生成的未对图像进行编码和解码，以重建原始的未对图像。

内容和模糊度的分离

基于两个域共享一个共同的潜在内容空间的假设，我们在Exc和Eyc之间共享最后的剩余层，以将输入图像嵌入到共享的内容空间中。通过这一步，我们可以使用Eyc来指导Exc从模糊图像中提取内容信息。由于v与x具有相同的内容，并且haze信息来自y，这迫使他从y中提取haze信息，而不编码y的内容信息。

损失函数

对抗损失

对于无雾图像域，对抗性损失定义为：

对于模糊图像域，对抗性损失定义为：

 循环一致性损失

 潜在回归损失 为了鼓励生成的图像保留z的霾度信息，并强制霾度编码器从霾度图像中提取霾度信息，我们提出了一种潜在回归损失，其公式如下：

 潜在向量z由先验高斯分布p（z）得出。然后利用提取的雾度矢量指导模糊图像的合成。最后，完整的目标函数是所有损失的加权和：

消融实验

 借助于所提出的haze编码器，可以从PSNR和SSIM方面分离出内容和haze信息，并改善脱雾性能。然而，黑暗区域的烟雾无法消除，仍然存在一些颜色失真。最后，添加潜在回归损失显著改善了脱叠性能，我们观察到PSNR和SSIM都有显著改善。从图4（d）中，我们发现从黑暗区域中去除了许多烟雾，并且脱雾结果更接近图4（e）中的地面真实情况。仅添加hazy编码器不能保证生成的图像保留hazy信息，也不能保证hazy编码器准确提取hazy信息。提出的潜在回归损失迫使生成的图像保留输入的雾度信息，并帮助雾度编码器更准确地提取雾度信息。定量结果和定性结果均表明，该方法在PSNR和SSIM方面的图像去噪性能最好，视觉效果最好。

 实验结果

 结论

 本文提出了一种无监督的单幅图像去叠方法，该方法不依赖于物理散射模型。我们分别从模糊图像中分离出内容和模糊信息。我们提出了一种潜在的回归损失，以鼓励生成的图像保留烟雾信息，并强制烟雾编码器从烟雾图像中提取烟雾信息。循环一致性损失有助于脱雾图像保留原始图像的内容，对抗性损失使脱雾图像无雾且视觉逼真。烧蚀研究表明了所提出的各个模块的有效性。大量的实验结果表明，该方法优于现有的无监督方法。

Unsupervised Domain-Specific Deblurring via Disentangled Representations（IEEE2019/3)

Learning Invariant Representation for Unsupervised Image Restoration(CVPR2020/6)

 

Efficient Unpaired Image Dehazing with Cyclic Perceptual-Depth Supervision（2020）