DR-Net: Transmission Steered Single Image Dehazing Network with Weakly Supervised Refinement

Abstract

尽管最近在图像去雾方面取得了进展，但是仍然存在很多问题，例如对于变化的场景的鲁棒性，重建图像的视觉质量以及应用的有效性和灵活性。为了解决这些问题，我们提出了一种新的深度网络架构，用于单图像去雾，称为DR-Net。我们的模型包括三个主要子网：预测输入图像的传输图的传输预测网络，重建由传输图控制的潜在图像的雾霾去除网络，以及增强去雾结果的细节和颜色属性的细化网络通过弱监督学习。与以前的方法相比，我们的方法在三个方面取得进展：（i）纯数据驱动模型; （ii）端到端系统; （iii）卓越的稳健性，准确性和适用性。大量实验表明，我们的DR-Net在定性和定量指标上优于合成和真实图像的最新方法。此外，DR-Net的实用性已经通过其在几个重要的计算机视觉任务中的潜在用途得到了说明。

I. I NTRODUCTION

在计算机视觉应用和多媒体内容共享中需要高质量的图像。 然而，在户外环境中捕获的图像经常遭受来自雾度的显着干扰，雾度是由漂浮颗粒（例如，灰尘，烟雾和液滴）引起的自然大气现象。 雾度对捕获的图像有两个主要影响：光的衰减和图像中添加剂成分的污染[1]。 具体而言，浮动粒子的散射会扭曲从场景到相机的光的直接传输，使光从直线轨迹偏离并且如果粒子是光的话则将光分散。在尺寸上与探测光的波长相当。 衰减的透射减小了强度，而周围的散射光引起了场景的模糊外观
为了消除雾霾伪影，先前的单图像去雾方法通常遵循类似的流程：（1）对介质传输建模，（2）精炼粗糙传输模型，（3）估计全局大气光，以及（4）重建潜在的图像根据预测的模型参数。但是，这条管道存在一些限制。首先，通常基于先验估计传输。然而，当在不受控制的光照条件，不同的雾度浓度和不同的场景深度下捕获模糊图像时，依赖于统计的先验不准确。其次，当存在白色物体，高光区域或阴影时，传统的全局大气光估计方法（例如，暗通道，四树细分，亮通道等）经常会出错。第三，当单独估计的变量组合时，将累积和放大单独估计步骤中的误差，这导致次优的去雾性能[21]
为了解决这些局限性，我们提出了一种新的除雾网络，该网络受益于纯数据驱动的学习，端到端架构和弱监督细化。 在图1（a）中观察到，显然雾度的存在极大地损害了图像的视觉质量。 与图1（b）所示的最近基于深度学习的方法[21]的结果相比，我们的潜像（即最终细化结果）具有更好的对比度，细节和颜色。

II. RELATEDWORK

图像去雾旨在从朦胧场景下拍摄的图像中恢复清晰的图像。 为解决这一不适定问题而开发的许多方法可以归类为基于补充信息的方法和基于单图像的方法。
基于补充信息的方法通常需要额外的知识，例如3D地理模型[3]，场景深度[4]，不同天气条件下的场景的多个图像[5]，偏振滤波器[6]等等。然而，这些方法大多是计算密集型的，并不适用于动态场景。因此，人们非常关注单图像去雾方法[1]，[7] - [9]，[12] - [16]，[19]，[20]。在[9]中，He等人观察到一种有趣的无雾户外图像现象，即至少一个通道具有一些强度非常低的像素。基于此先验，粗略估计了透射和全球大气光。之后，基于通过软匹配[10]或引导滤波器[11]以及估计的全局大气光的精细传输来实现去雾图像。在[1]中，Berman等人提出了一种非局部图像去雾方法，该方法依赖于这样的假设：无雾图像的颜色很好地近似于几百种不同的颜色，这些颜色在RGB空间中形成紧密的簇。
随着深度学习解决方案的出现[17]，基于深度学习的方法在图像去雾方面取得了很好的表现。在[19]，[20]中，利用卷积神经网络（CNN）来预测传输。之后，使用引导过滤[11]作为后处理来抑制由基于块的预测引起的预测传输中的光晕效应。通过传统方法估计的透射和全局大气光，重建了无雾图像。与Cai等人不同。 [19]和任等人。 [20]，它分别估计模型参数和使用后处理，DR-Net直接在其端到端系统中产生清晰的图像。在[21]中，Li在一个统一的CNN模型中估计了雾霾图像形成模型的参数。这种一体化模型使得将模型嵌入到其他深层模型中变得容易。虽然基于深度学习的方法具有优势，但仍有很大的改进空间，例如变化场景的鲁棒性，重建图像的保真度和视觉质量，以及应用的灵活性。
A. Our Contributions
DR-Net是纯数据驱动的端到端全卷积网络，由三个主要子网络组成，专为特定任务而设计。 贡献总结如下：
据我们所知，这是第一次尝试研究单一图像去雾的强弱监督学习的组合。 DR-Net基于强监督学习重建潜像，而通过基于生成对抗网络（GAN）的弱监督学习进一步细化去噪结果。 此外，DR-Net包括传输预测子网，其改善了雾霾去除性能和训练收敛。
DR-Net不是遵循传统的管道，而是以纯数据驱动和端到端的方式直接预测清晰的图像，这种图像更灵活，适合实际应用。 此外，DR-Net直接最小化重建损失，以避免来自传输和全球大气光的个体估计的累积误差。 这产生更准确的重建结果。

III. DR-NET

为了以端到端的方式自动揭示模糊图像和无雾图像之间的基础相关性，DR-Net采用传输预测子网，雾霾去除子网和细化子网。 DR-Net架构概述如图2所示。接下来，我们将详细解释这三个子网。 在此之前，我们首先制定问题。
B. Transmission Prediction Subnetwork
受[23]的启发，我们在DR-Net中采用了传输预测子网。 该子网还采用[20]中提出的多尺度完全卷积网络架构，其由粗尺度网络和精细尺度网络组成。 粗尺度网络的任务是预测场景的整体传输，并且精细尺度网络的任务是细化传输的纹理。 在精细尺度网络中，第一层的输出与来自粗尺度网络的输出连接，作为第二层的输入。 与[20]不同，我们删除了池化和上采样操作，这些操作往往会导致预测的传输输出模糊。
1）传输预测子网的损失函数：对于粗尺度传输预测网络，我们施加重建目标，即我们最小化均方误差（MSE）损失函数

图片.png

其中N是batchsize，H×W是传输图的维数，Fcs是粗尺度网络的学习传输预测映射函数，Xi是输入模糊图像，Fcs（Xi）是预测粗传输特征图，ti是传输图的清晰图像。 使用MSE损失，实现具有粗略细节和纹理的预测透射图。 然后，粗略传输图与第一层精细网络的输出连接，作为精细尺度网络的第二层输入。 对于精细尺度传输预测网络，我们还最小化MSE损失函数

图片.png

其中Ffs是精细规模网络的学习传输预测映射函数。
为了进一步保持预测精细传输的结构和纹理，我们在精细尺度网络中添加了结构相似性指数（SSIM）损失[30]。 首先，如下计算预测精细透射图F fs（X i）和地面实况t i之间的每个像素的SSIM值：

图片.png

传输预测子网的最终损耗函数是上述引入的损耗与以下权重的线性组合

图片.png

基于训练数据的初步实验，凭经验挑选混合权重。
C. Haze Removal Subnetwork
透射率表示到达相机的场景辐射的百分比，透射图表示输入模糊图像中的雾度浓度，这是雾度去除的重要线索。 与先前估计透射图然后根据透射图的引导直接重建潜在结果的方法不同，我们将预测的精细透射图作为附加特征图馈送到雾霾去除子网中，以便自动揭示模糊图像和透射图和无雾图像之间的基础相关性。
对于雾霾去除子网，我们了解原始模糊图像与相应雾度之间的残差 -
免费图像。 剩余学习使端到端训练更容易，更有效，因为这可能只是将多个非线性层的权重推向零[28]。虽然预测残差的概念已经用于以前的方法[24] - [26] ]，[29]，尚未在基于学习的雾霾去除的背景下进行研究。 此外，我们通过在每个块的末尾堆叠早期层来增强它，这增强了特征传播并减轻了消失梯度问题[27]。 雾霾去除子网结构可以在图2中找到。
1）雾霾去除子网的损失函数：为了学习残差映射，我们将估计残差添加到输入朦胧图像并最小化MSE损失

图片.png

其中Fd是学习残差映射函数，Yi是模糊图像Xi的清晰图像，C×H×W是输入图像的维数。 但是，我们注意到直接优化MSE损失函数往往会引入伪像和假边界。 因此，类似于我们在（5）和（6）中的表述，我们还计算了去雾结果和基础事实之间的SSIM损失（L d SSIM）。 雾霾去除子网的最终损失函数是上述损失的线性组合：

图片.png

我们的雾霾清除网络是一个完全卷积网络，用于计算效率，它不包括批量标准化层，不丢弃任何有用的图像细节。
D. Refinement Subnetwork
然而，传输预测子网和雾度去除子网的组合可以产生清晰的图像
这种去雾输出可能具有不精确的颜色范围和对比度，特别是对于户外数据。 原因是使用室内RGB-D数据集使用合成模糊图像训练去雾子网。
为了解决这个问题，我们设计了一个细化子网，以增强基于弱监督学习的去雾输出的对比度和颜色。 细化网络的灵感来自弱监督学习模型[31] - [33]，旨在捕获给定图像集合的特殊特征，并建模如何将这些特征转换为另一个图像集合。
我们的目标是学习从源域X（即，具有单调颜色和模糊细节的低质量图像）到目标域Y（即，具有鲜艳颜色和清晰细节的高质量图像）的映射函数。 遵循GAN概念，细化子网包括生成器G和鉴别器D.G的任务是欺骗D，使得D将G的输出（即，精细图像）混淆为高质量图像。 具体地，G旨在细化给定的低质量图像，而D试图区分精制图像是否真实。 请注意，与产生新颖图像的[34] - [36]不同，我们的网络仅增强其输入。
我们使用完全卷积网络作为生成器，其中我们在对称层上结合嵌套的快捷连接（即，跳过连接）以解决消失的梯度问题，因为快捷连接可以在反向传播的过程中有效地传播梯度。 生成器网络中的所有卷积层之后是批量归一化和ReLU激活函数，除了最后一个，其中将缩放的双曲正切应用于输出。 我们采用[35]中提出的基于CNN的架构作为我们的鉴别器，因为它的简单性和有效性。 细化子网架构可以在图2中找到。
1）细化子网的损失函数：对于发电机功能G：X→Y和鉴别器D，
对抗性损失表示为：

图片.png

其中x∈域X，y∈域Y，F c是学习的雾霾去除映射函数，G试图生成看起来类似于来自域Y的图像的图像G（F c（x）），而D旨在区分G（ F c（x））和实际样本y。 G试图最大限度地减少对抗试图最大化它的敌对D的损失。 此外，我们希望我们的精炼结果能够保持去噪结果的内容和结构。 因此，我们将MSE和SSIM损失包括在细化子网优化中。 MSE损失表示为

图片.png

其中N是batchsize，Fc是学习的雾霾去除映射函数，G是生成器网络的学习映射函数，x i是输入模糊图像，C×H×W是输入图像的维数。 SSIM损失L rf SSIM的计算类似于（5）和（6）。 细化子网的总损耗表示为

图片.png

图片.png