（论文阅读）2022年一些图像去雾方法的简单调研

2022年一些图像去雾方法的简单调研

1. Self-augmented Unpaired Image Dehazing via Density and Depth Decomposition 基于密度和深度分解的自增强未配对图像去雾

• 在合成的去雾数据集上训练的图像去雾方法存在过拟合问题，现有一些方法使用非成对数据进行训练以提高模型泛化能力。不过大多数方法都是简单的使用去雾和加雾循环，忽视了真实雾霾图像的物理成像性质，雾霾浓度和深度。本文提出了一种自增强图像去雾框架，通过将传输图分解为密度和深度进行图像去雾。通过探索场景的深度信息和雾霾散射因子，有助于去雾网络的进一步训练。并且本文方法只需要非成对的雾霾-清晰图像。
• 这个论文之前在B站看到过作者的pre，具体的链接可以在B站上搜到这里就不放了。当时给的评价就是这篇论文实际上类似于CycleGAN和物理方法的结合，这两种方法最早的论文应该在19年或者20年就有了。现在在RESIDE上刷点的方法确实也没多少创新和实际效果，很多方法现在都结合了雾霾场景物理模型，在真实雾霾图像下的效果也更加优越，不过此类方法很容易出现色彩失真，在本文的实验结果中也有体现。
• 作者在conclusion中也指出，本文的方法仍存在局限性，即对极亮区域的透射率估计过高，会导致深度估计网络对过亮区域的深度值预测较低。
  

2. Depth aware image dehazing 深度感知图像去雾

• 图像去雾的目的是去除雾霾噪声和复原图像内容，其中的困难是雾霾噪声分布不均匀与图像内容变化繁多。现有方法使用卷积神经网络通过盲端到端训练学习去噪过程，这严重依赖训练集中的雾霾噪声分布。此外，雾霾噪声的分布与图像深度有关，这表示了场景到成像设备之间的距离。本文基于传统生成对抗网络的框架，提出了一个深度感知方法用于预测深度图并且在一个联合框架中为去噪过程提供深度特征。通过将深度特征融合到去雾网络，更有利于去雾模型分离图像内容和不同程度的雾霾。此外，该方法可以方便地部署到基于CNN的去雾方法中。
• 从真实雾霾图像去雾效果来看，结合了深度特征的去雾效果是较为显著的，不过没有结合成像模型，在较远处的雾霾仍然无法去除并且近远景差别较为明显。在消融实验中显示，是否使用深度特征对模型性能影响是非常巨大的（PSNR +5.64dB），如果数据真实，这个结构是非常值得采用的。
• 模型的网络结构其实是两个GAN网络，先训练固定第一个深度估计GAN，然后训练去雾GAN，循环迭代。模型完全固定后，其实是需要两个生成器都得工作的，因此推理时间会相对较长。此外，作者在abstract中说该方法可以非常简单的插入到CNN-based去雾方法中，但是缺少了该部分的实验
  

3. Towards Multi-domain Single Image Dehazing via Test-time Training 基于测试时间训练的多域单幅图像去雾

• 现有的大多数方法在单一数据集上进行训练和测试时表现良好。然而，它们无法使用在特定数据集上训练的去雾模型来处理不同类型的雾霾图像。一种可能的补救方法是联合对多个数据集进行训练。然而，我们观察到这种训练策略往往会损害模型在单个数据集上的性能。基于这一观察结果，我们提出了一种测试时间训练方法，该方法利用助手网络来帮助去雾化模型更好地适应感兴趣的领域。在测试期间，辅助网络对去雾结果的质量进行评估，然后通过自监督的方式指导去雾网络通过调整参数来提高去雾质量。然而，包含辅助网络并不能自动确保预期的性能改进。为此，我们采用了一种元学习方法，以使去雾网络和辅助网络的目标相互一致。
• 这篇文章还是蛮有意思的，将在不同数据集上的图像去雾问题看作多域学习问题，采用一个辅助网络优化去雾网络的参数和性能（只需要使用雾霾图像–自监督）。其中存在的一个问题是辅助网络的重建损失最小化和去雾网络的去雾损失最小化方向是不一致的(消融实验也验证了这一点)，这意味着去雾网络的输出会与GT图像相差甚远，但是能被辅助网络用于生成一个接近雾霾图像的重构雾霾图像。为此，作者提出了一种元学习方式，使用辅助网络的重构损失更新去雾网络的参数得到元参数，然后用元参数网络计算去雾损失更新去雾网络参数。
• 实验结果的提升其实是非常小的，在每个方法上都只有不到0.15dB的性能提升，与Single-domain相差约0.3~0.95dB，还有很大的改进空间。作者也表示只三个去雾模型和四个数据集上进行了实验，后续应在更大规模的方法和数据集上进行实验验证。
  
  

4. Rethinking Performance Gains in Image Dehazing Networks 重新思考图像去雾网络的性能增益

• 本文致力于探究图像去雾网络中的关键设计如何影响性能增益。除了常用的多尺度结构和残余学习，有效利用注意机制是提高指标的关键。具体而言，本文提出了gUNet，利用特征融合模块中的通道注意机制提取全局信息，用栅格机制取代像素注意和非线性激活函数，对空间变化的传输映射进行建模。更重要的是，本文进行了大规模的消融研究，表明图像去雾网络的性能增益主要来自于注意机制、非线性激活函数、全局信息提取、归一化层和训练迭代次数。
• 本文分析每个结构对于图像去雾性能的影响，设计了一个简单高效的图像去雾模型。然而，文中的实验结果大都是对于合成数据集的测试结果，虽然在RESIDE-SOTS数据集上达到了超越DehazeFormer的结果，但缺少真实雾霾图像的去雾主观对比。按照个人经验，其实注意力结构在合成数据集上是有效但也是过拟合的，在真实雾霾图像中没有任何作用，输出图片与输入图片基本是没有变化的。
  
  

5. Dual-Scale Single Image Dehazing Via Neural Augmentation 基于神经增强的双尺度单幅图像去雾

• 基于模型的单幅图像去雾算法以合成图像的低PSNR和SSIM值为代价，为真实世界的雾霾图像恢复边缘锐利、细节丰富的无雾霾图像。数据驱动的方法对于合成的雾霾图像具有较高的PSNR和SSIM值，但对比度较低，对于真实的雾霾图像甚至有一些残留的雾霾。本文将基于模型和基于数据的方法相结合，提出了一种新的单幅图像去雾算法。首先采用基于模型的方法估计传输图和大气光，然后采用基于双尺度生成对抗网络(GANs)的方法进行细化。该算法形成了一种收敛速度非常快的神经增强算法，而相应的数据驱动算法可能不会收敛。利用估计的透射图和大气光以及科施米德定律对无雾霾图像进行恢复。