基于对比学习的压缩单图像去雾(Contrastive Learning for Compact Single Image Dehazing-cvpr2021)

概述

在本文中，提出了一种新的基于对比学习的对比正则化(CR)方法，将模糊图像和清晰图像的信息分别作为负样本和正样本来利用。CR保证了恢复后的图像在表示空间中向清晰图像拉近，向远离模糊图像的方向推远。此外，考虑到性能和内存存储的权衡，本文开发了一个紧凑的基于类自动编码器(AE)框架的去雾网络。该算法采用自适应混合操作和动态特征增强模块，分别通过自适应保持信息流和扩展接收域来提高网络的转换能力。

主要贡献

        1、提出了一种新的ACER-Net，通过对比正则化和高度紧凑的基于自编码器的去雾网络，有效地生成高质量的无雾图像。与最先进的方法相比，AECR-Net实现了最佳的参数性能权衡

        2、提出的对比正则化作为一种通用正则化，可以进一步提高各种先进的去雾网络的性能。

        3、所提出的类自动编码器(AE)去雾网络中的自适应混合模块和动态特征增强模块分别可以帮助去雾模型自适应地保持信息流和增强网络的转换能力。

去雾模型

         通过提出一种新的对比正则化方法，用对比学习来利用负面图像和正面图像的信息。此外，基于类自动编码器框架，通过减少层数和空间大小，我们的去雾网络更加紧凑。它由类自编码器(AE)去雾网络和构造正则化(CR)组成。AE的光参数有一个4×下采样模块，六个FA模块，一个DFE模块，一个4×上采样模块和两个自适应混叠操作。我们共同最小化基于L1的重建损失和构造正则化，以更好地将恢复图像(即锚点)拉到清晰(即正)图像，并将恢复图像推到模糊(即负)图像。

通常去雾模型表示

     单图像端到端去雾方法利用复原图像上的图像重建损失和正则化项这两个损失去雾图像，可以表示为 

 其中，前者表示数据保真项（data fidelity term），后者表示正则项

• I是一个模糊图像，J是相应的清晰图像，
• φ（·，θ）是去雾网络，
• 参数w.||J−φ(I，w)||是数据保真度项，通常使用基于L1/L2范数的损失。
• ρ（·）是生成性质和光滑去雾图像的正则化项，
• 其中TVnorm[1]，DCP先验[2]在正则化项中广泛应用于正则化项。
• β是平衡数据保真度项和正则化项的惩罚参数。与之前的正则化不同，本文使用对比正则化来提高恢复图像的质量

类自动编码器（Autoencoder-like Dehazing Network） 

         受FFA-Net高效FA块的启发，提出的类自动编码器(AE)网络中使用FA Block作为基本块，该去雾网络首先采用4×下采样操作(例如一个正则卷积为stride 1，两个卷积层均为stride 2)，使密集的FA块在低分辨率空间中学习特征表示，然后使用相应的4×上采样和一次正则卷积生成恢复后的图像。同时提出了两种不同的连接模式:(1)自适应混合(Adaptive mixup)动态融合下采样层和上采样层之间的特征以保持特征;(2)动态特征增强(DFE)模块通过融合更多的空间结构信息来增强变换能力。

特征保持的自适应混淆（Adaptive Mixup for Feature Preserving）

        因为随着网络深度的增加，浅层特征逐渐退化，所以本文采用了自适应混叠操作将这两层的信息进行融合以保持特征。在本例中，我们考虑了两个下采样层和两个上采样层，使得混叠操作的最终输出可以表示为:

f↓i和f↑i分别是来自第i个下采样层和上采样层的特征映射。f↑是最终输出。σ(θi)，i=1,2是融合来自第i下采样层和第i上采样层的输入的第一个可学习因素，其值由参数θi上的其值由sigmoid符号算子σ决定。在训练过程中，可以有效地学习这两个可学习的因素，它们比常数因素获得更好的性能。其中，权重是通过注意力机制学到的。

动态功能增强（ Dynamic Feature Enhancement）

        因为以往的工作通常采用固定的网格核，但是这会限制感受野，使得网络不能利用特征空间中的结构化信息，同时引入扩张的卷积层来扩大感受野。然而，扩张卷积可能会导致网格伪影现象。因此，本文提出了可变化的二维核来增强特征，用于图像去雾。作者通过可变化卷积引入动态特征增强模块(DFE)，以自适应形状扩展接收域，提高模型的变换能力，从而更好地去雾。特别地，采用了两个可变形的卷积层，使采样网格的变形更加自由，网络可以动态地更关注感兴趣区域的计算，以融合更多的空间结构化信息。作者发现在深层之后部署的DFE比浅层获得了更好的性能。

对比正则化（ Contrastive Regularization）

        受对比学习的启发，作者提出了一种新的对比正则化(CR)来生成更好的恢复图像。因此，需要考虑CR中的两个方面：一是构造“正”对和“负”对，另一个是找到这些对的潜在特征空间进行对比。在本文的CR中，正对和负对分别由清晰图像J组生成，恢复的图像Jˆ由类AE去雾网络φ、Jˆ组和模糊图像I组生成。对于潜在特征空间，作者从相同的固定预训练模型G（如vgg-19）中选择共同的中间特征。因此，在等式中的目标函数（1）可以重新表述为：

• 第一项是恢复图像与gt之间对齐的重建损失。我们采用了L1损失，因为它实现了比L2损失更好的性能。
• 第二项ρ(G(I)、G(J)、G(φ(I、W))是在相同的潜在特征空间下，I、J和φ(I，w)之间的对比正则化，将恢复的图像φ(I，w)拉到清晰图像J，并将φ(I，w)推离模糊图像I的相反力量。
• β是平衡重建损失和CR的超参数。为了提高对比能力，作者从固定预训练模型的不同层中提取了隐藏的特征。

因此，整体去雾损失函数等式可进一步表述为：

其中，Gi，i=1,2，···n 表示从固定的预训练模型中提取第i个隐藏特征。D(x,y)是x和y之间的L1距离。ωi是一个权重系数。等式(4)可以以一种端到端的方式通过优化器进行训练。对于此CR，感知损失通过利用从预先训练好的深度神经网络中提取的多层特征来测量预测和gt之间的视觉差异。 与正向正则化的感知损失不同，作者也采用模糊图像（去雾网络的输入）作为"负"来约束解空间，实验证明该CR在图像去雾方面优于它。

实验结果