Cycle-Dehaze: Enhanced CycleGAN for Single Image Dehazing

摘要

在本文中，我们提出了一个名为Cycle-Dehaze的端到端网络，用于单个图像去雾问题，它不需要成对的模糊和相应的地面真实图像进行训练。也就是说，我们通过以不成对的方式提供干净和模糊的图像来训练网络。此外，所提出的方法不依赖于大气散射模型参数的估计。我们的方法通过结合循环一致性和感知损失来增强CycleGAN制剂，以便改善纹理信息恢复的质量并产生视觉上更好的无雾图像。通常，用于去雾的深度学习模型将低分辨率图像作为输入并产生低分辨率输出。然而，在NTIRE 2018对单图像去雾的挑战中，提供了高分辨率图像。因此，我们应用双三次缩小。在从网络获得低分辨率输出后，我们利用拉普拉斯金字塔将输出图像放大到原始分辨率。我们在NYU-Depth，I-HAZE和O-HAZE数据集上进行了实验。大量实验表明，所提出的方法在数量和质量上都改进了CycleGAN方法。

1.介绍

       由Goodfellow等人介绍的GAN在图像生成任务中非常成功，例如， 数据增强，图像修复和样式转移。 他们的主要目标是生成与目标域上的原始图像无法区分的假图像。 通过利用GAN，存在最先进的方法。对于单个图像去雾，其需要以成对方式模糊输入图像及其基础事实。 最近，在CycleGAN提出用于图像到图像转换的循环一致性损失之后，不需要配对的数据 。 受循环一致性损失的启发，Yang等人已经引入DisentangledDehazing Network（DDN）。 用于单个图像去雾。 与CycleGAN架构不同，DDN通过大气散射模型重建循环图像，而不是使用另一个生成器。 因此，它需要在训练阶段的场景辐射，中等透射图和全球大气光。
       在这项工作中，我们通过聚合循环一致性和感知损失利用CycleGAN [37]架构引入Cycle-Dehaze网络。我们的主要目的是建立一个端到端的网络，无论单个图像去雾的大气散射模型如何。为了将输入图像输入到我们的网络中，通过双三次缩减将它们调整为256×256像素分辨率。在对输入图像进行去雾后，将双三次升级到其原始大小不足以估计丢失的信息。为了能够获得高分辨率图像，我们采用了一种基于拉普拉斯金字塔的简单上采样方法。我们在D-HAZY的NYU-Depth部分和单图像去雾数据集上的NTIRE 2018挑战中进行实验：I-HAZE和O-HAZE。根据我们的结果，Cycle-Dehaze实现了比CycleGAN架构更高的图像质量指标。此外，我们分析了Cycle-Dehaze在跨数据集场景中的表现，也就是说，我们在训练和测试阶段使用不同的数据集。
主要贡献：

• 通过增加循环感知 - 一致性损失以及循环一致性损失来增强用于单图像去雾的CycleGAN架构。
• 该方法既不需要模糊和真实图像的样本，也不需要在训练和测试阶段的任何大气散射模型参数。
• 提出了一种简单而有效的技术，通过拉普拉斯金字塔来放大带雾图像。
• 由于其循环结构，该方法提供了一个通用模型，可以通过跨数据集场景的实验证明。

2.相关工作

3.本文方法

    Cycle-Dehaze是用于单图像去雾的CycleGAN架构的增强版本。 为了提高视觉质量指标，PSNR，SSIM，它利用了EnhanceNet启发的感知损失。 这种损失的主要思想是比较特征空间中的图像而不是像素空间中的图像。 因此，Cycle-Dehaze将原始图像与两个空间处的重建循环图像进行比较，其中循环一致性损失确保了高PSNR值，并且感知损失保持了图像的清晰度。 此外，Cycle-Dehaze使用传统的拉普拉斯金字塔，在主要的除雾过程后提供更好的上采样结果。 图2显示了Cycle-Dehaze架构的整体表示。
    如图2所示，Cycle-Dehaze架构由两个生成器G，F和两个鉴别器Dx，Dy组成。 除了常规鉴别器和生成器损失之外，为了增加/添加雾度，从该架构循环一致性和循环感知一致性损失的组合中获益。 结果，该架构保留输入图像的纹理信息并产生无雾输出。 另一方面，追求循环一致性和感知性损失之间的平衡并非易事。 给感知损失过重会导致去雾过程后颜色信息的丢失。 因此，循环一致性损失需要具有比感知损失更高的权重。
    Cyclic perceptual-consistency loss.CycleGAN [37]架构引入了循环一致性损失，它计算原始图像和循环图像之间的L1范数，用于不成对的图像到图像转换任务。 然而，原始图像和循环图像之间的这种计算损失不足以恢复所有纹理信息，因为模糊的图像大部分被严重破坏。 循环感知 - 一致性损失旨在通过查看从VGG16体系结构的第二和第五池化层提取的高级和低级特征的组合来保留原始图像结构。 在x∈X，y∈Y和发生器G：X→Y的约束下，发生器F：Y→X，下面给出了循环感知 - 一致性损失的表达式，其中（x，y）指的是模糊和基本事实 不成对的图像集和φ是来自第2和第5个池层的VGG16 [29]特征提取器：

 

 

 

Laplacian upscaling.Cycle-Dehaze架构采用256×256像素分辨率输入图像，由于GPU限制，产生256×256像素分辨率输出图像。 为了减少缩小和放大过程中图像质量的恶化，我们利用拉普拉斯金字塔，这是通过使用高分辨率模糊图像创建的。 为了获得高分辨率的去噪图像，我们用我们的去噪低分辨率图像改变了拉普拉斯金字塔的顶层，并像往常一样执行拉普拉斯放大过程。 拉普拉斯金字塔的这种基本用法尤其在清洁过程中保留了模糊图像的大部分边缘，并在升级阶段提升了SSIM值。 拉普拉斯算子升级是在处理高分辨率图像时可选的后处理步骤。

总结

我们提出了一个单一的图像去雾网络，名为Cycle-Dehaze，它可以直接从朦胧的输入图像生成无雾图像，而无需估算大气散射模型的参数。此外，我们的网络以不成对的方式提供朦胧和地面真实图像的训练过程。为了保持无雾图像的高视觉质量，我们通过将它与感知损失相结合来改善CycleGAN架构的循环一致性损失。 Cycle-Dehaze将低分辨率图像作为输入，因此需要将其输入缩小为预处理步骤。为了在调整大小时减少图像失真，我们利用拉普拉斯金字塔来放大低分辨率图像，而不是直接使用双三次放大。实验结果表明，我们的方法产生视觉上更好的图像，并实现比CycleGAN架构更高的PSNR和SSIM值。此外，我们在跨数据集场景中进行了额外的实验，以证明我们的模型对不同域的普遍性。