2019 DENSE-HAZE: A BENCHMARK FOR IMAGE DEHAZING WITH DENSE-HAZE AND HAZE-FREE IMAGES

Dense—Haze数据集下载：

Dense_Haze浓雾数据集-深度学习文档类资源-CSDN下载

 ABSTRACT

单图像去模糊处理是一个最近引起重要关注的不适定问题。尽管在过去的几年中，人们对去雾方法的兴趣显著增加，但由于缺乏真正的模糊和相应的无雾参考图像对，去雾方法的验证仍然在很大程度上不令人满意。为了解决这一限制，我们引入了密集的雾霾Dense-Haze——一个新的去雾霾数据集。密雾以密集、均匀的朦胧场景为特征，包含33对真实的朦胧和相应的无雾霾图像。通过引入由专业的雾霾机产生的真实的雾霾，记录了朦胧的场景。模糊和无雾的场景包含相同光照参数下捕获的相同的视觉内容。密集雾霾数据集旨在通过推广对真实和各种模糊场景的鲁棒方法，显著推动单图像去模糊技术。我们还提供了一个全面的定性和定量的评估状态的最先进的单一图像去雾技术基于树雾数据集。不足为奇的是，我们的研究显示，现有的去雾技术对于密集的均匀的模糊场景效果不佳，而且仍有很大的改进空间。

I. INTRODUCTION

        雾霾是照相机传感器和视觉应用中最具挑战性的大气现象之一。雾霾是一种经常发生的气象现象，特别是在温带气候中，由小的漂浮颗粒从其传播方向吸收和散射光而产生。这种模糊场景的可见性被高度退化，从而对遥远的物体产生对比度的损失、光谱的选择性衰减和额外的噪声。例如，雾霾的存在对道路交通有很大的影响，因为它可能会严重降低司机的能见度。因此，恢复模糊图像中的内容——被称为去雾的过程——对于一些户外图像处理和计算机视觉应用，如视觉监控和自动驾驶辅助非常重要。

        为了解决这个问题，早期的技术采用了偏振滤波器[1]，[2]和深度知识先验[3]，[4]。另一方面，仅基于单一输入RGB图像来恢复模糊图像的可见性更具挑战性，是一个数学上存在的问题[5]，[6]，[7]，[8]，[9]，[10]，[11]，[12]。Fattal [5]引入了一种马尔可夫随机场（MRF）方法来寻找结果阴影和传输函数在局部统计上不相关的解。[9]等人提出了暗通道先验（DCP），这是一种简单但有效的估计传输图的解决方案。而不是像[9]那样使用阿尔法马接，孟等人的[13]方法基于正则化策略，对DCP估计的粗糙传输的边界进行了细化。类似地，Zhu等人[14]在假设深度可以通过像素饱和度和强度来估计时，通过预先考虑颜色衰减来扩展DCP。最近，Berman等人[16]对色线模型[15]进行了扩展，他观察到无雾图像的颜色很好地近似于RGB空间中有限的紧密簇。另一类是多尺度融合方法[17]，[18]，它增强了在不明确估计传输图的情况下的模糊场景。最近，在文献中引入了几种机器学习去模糊化方法[19]、[20]、[21]、[22]、[23]、[24]、[25]。DehazeNet [20]基于综合的去雾数据集估计传输图，然后通过传统光学模型计算无雾图像。[21]等人在训练阶段使用一个合成数据集，Ren定义了一个由CNN层级联组成的粗到细的神经网络。

        虽然对图像去雾问题的兴趣在过去几年中显著增加，但所提出的去雾方法的验证在很大程度上仍然不令人满意，主要是由于缺乏相应的模糊和无雾的地面真实图像对。由于在相同的光照条件下记录参考图像和模糊图像的实际问题，记录真实的图像是非常具有挑战性和耗时的。因此，现有的去雾评估数据集[26]、[27]、[28]依赖于使用简化光学模型和已知深度的合成模糊图像。Tarel等人[26]介绍了第一个合成脱雾数据集（FRIDA），其中包含66个计算机图形生成了交通场景。 D-HAZY [27]是另一个合成的去模糊数据集，具有1400张+的真实图像和相应的深度图，基于科施米德的光传播模型[29]，用于合成模糊场景。HazeRD [28]通过添加了几个合成的户外模糊图像，扩展了D-HAZY数据集。Luthen等人[30]介绍了一个数据集，包括四组室内场景，包括模糊、RGB和NIR地面真实图像。

        到目前为止，脱雾文献的焦点一直集中在 相对轻的雾霾条件上，这可能限制了现有的脱雾技术 在浓雾霾真实场景中的效用。引入具有 密集雾霾和相应的无雾霾参考图像的去雾数据集，对于评估现有的去雾技术和推进去雾领域的研究具有重要意义。

        本文的主要贡献是密雾霾，一个新的现实去雾数据集。密雾以 密集、均匀的朦胧场景为特征，包含 33对真实的朦胧和相应的无雾霾图像。为了产生模糊的场景，我们使用了一个专业的雾霾机，模拟与高保真的真实雾霾。为了保持光照条件，所有的室外场景都是静态的，并在阴天、早晨或日落时被记录下来。基本上，密集-雾霾 扩展了O-HAZE [31]数据集，该数据集最近被用于第一个有组织的[32]的单一图像脱雾挑战。与只包含 轻雾场景的O-HAZE相比，密集雾层更具挑战性，因为所有记录的场景都包含更密集、更均匀的雾层层（见图1）。我们相信，引入密集的雾霾数据集将显著推动最先进的单图像脱雾方法，使其对真实和各种密集的雾霾场景更加鲁棒。

 

        本文的第二个贡献是对基于密雾数据集的最先进的单图像去雾技术进行了全面的定性和定量评价。在我们的研究中，我们比较了一组具有代表性的去雾方法，并使用传统的测量方法如PSNR和SSIM进行评估。我们的实验结果表明，现有的 去雾技术对密集的模糊场景效果不佳，这是可以预期的，因为 大多数现有的方法都是在较轻的雾霾条件下引入和验证的。显然有很大的改进空间，我们提出的致密-雾霾数据集可以促进和作为鲁棒图像去雾解决方案的基准研究。

II. RECORDING DENSE-HAZE DATASET

        在本节中，我们将讨论记录密雾数据集的33对朦胧和无雾（地面真实）户外图像的方法。正如我们简要讨论的，收集这些图像的一个关键问题是，在相同的条件下，使用相同的相机设置、视点等，捕获有和没有模糊的每个场景的像素级图像。除了保证场景是静态的，场景组件在记录过程中不会改变它们的空间位置（对自然场景来说非常具有挑战性），最具挑战性的问题是保持室外场景的照明。

        因此，我们只在阴天、早晨或日落时记录了户外场景。此外，风的影响还给出了另一个重要的限制因素。为了限制雾霾在场景中的快速扩散，我们只能在风速低于2-3 km/h时记录图像。这一限制很难满足，这是记录33个户外场景需要8周时间的主要原因。

        为了产生朦胧的场景，使用两台专业的雾霾机（LSM1500 PRO 1500 W）传播雾霾，它们产生的蒸汽颗粒的直径大小（通常为1 - 10微米），类似于大气雾霾的颗粒。雾霾机采用铸型或压板式铝热交换器来诱导液体蒸发。为了模拟比20米所调查的20-30米更远的水雾霾发生的影响，我们使用了密度更高的特殊（雾霾）液体。为了在场景中获得 致密均匀的雾霾层，我们使用了2800瓦便携式雾霾机2-3分钟，再等待2-3分钟。

        在场景中引入雾霾之前，我们确定了由三脚架和索尼A5000摄像机（Sony RM-VPR1）组成的录音设置。该设置允许获得JPG和ARW（RAW）5456×3632图像，具有24位深度。对于每个场景记录，已执行手动调整相机设置。我们使用相同的相机设置来捕捉同一场景的无雾霾和模糊的图像。基本上，在记录模糊和无雾场景时，与快门速度（曝光时间）、光圈（F-stop）、ISO和白平衡相关的相机参数都保持相同。因此，在相应的场景中，距离较近的区域（通常较少被雾霾扭曲）具有相似的外观（在颜色方面）。

        最佳的相机参数（光圈曝光-iso）是基于相机内置的光计设置的，但也使用了外部呼气仪（Sekonic）。对于自定义的白平衡，我们使用了颜色检查器的中间灰色卡（18%灰色）。这是一种常见的摄影过程，需要在手动模式下使用相机白平衡模式，并将参考灰卡放在相机的前面（灰卡放置在场景的中心，在4米的范围内）。此外，所有记录的场景都包含一个颜色检查器，以允许对记录的图像进行后处理。我们使用了一个经典的麦克白颜色检查器，尺寸为11乘8.25英寸，带有24个正方形的油漆样品（4×6网格）。

III. EVALUATED DEHAZING TECHNIQUES

        在这项工作中，我们定性和定量地评估了几种最先进的单一图像去雾技术基于致密-雾霾数据集。为了完整起见，在下面的段落中，我们简要地回顾了所评估的脱雾方法。

        他等人[9]介绍了可能是最具影响力的单图像脱模糊方法。[9]的作者定义了暗通道先验（DCP），这是一种统计观测，可以产生传输图（每个补丁）的粗略估计。DCP是一种启发式的方法，它建立在观察到的大多数局部区域（除了天空或模糊的区域）包含在至少一个颜色通道中呈现低强度的像素之上。粗略估计的传输是通过阿尔法匹配策略[9]或使用引导滤波器[34]来细化的。在我们的评估中，He等人[9]的结果是使用使用引导滤波器改进的DCP生成的。

        孟等人[13]介绍了一种基于DCP [9]的方法。利用边界约束与加权L1范数正则化相结合的方法，对估计的传输图（基于DCP）进行了进一步的细化。总的来说，这种方法减轻了DCP传输图中分辨率的不足。此外，与He等人的[9]技术相比，孟等人的[13]的方法有了一些改进，降低了靠近尖锐边缘的伪影水平。

        Fattal [15]利用了由Omer等人[35]首次引入的RGB颜色空间中的颜色线。该方法是建立在小自然图像斑块中像素分布呈现一维结构的基础上。这一发现允许计算传输图的粗略估计，通过使用马尔可夫随机场模型进一步细化，该模型过滤噪声并消除一些由于散射引起的伪影。

        Cai等人[20]引入了DehazeNet，一种卷积神经网络（CNN）方法，训练一个模型映射模糊到危险森林斑块。DehazeNet具有特征提取、多尺度映射、局部极值映射和最后的非线性回归等四个顺序步骤。该模型使用一个合成的去雾数据集进行训练。

        Ancuti等人，[33]也依赖于DCP，但他们的工作，作者介绍了一种简单的方法来估计局部气流常数。该方法采用多尺度融合策略，从不同的局部概念定义中得到多个输入图像。这种策略最初的设计是针对更复杂的夜间模糊场景（以严重散射和多光源为特征）的解决方案，其基于融合的策略在 日间单图像去模糊方面也具有竞争力。

        Berman等人[16]扩展了[15]的颜色线概念，考虑到无雾霾图像中的颜色分布可以很好地近似于RGB颜色中的离散簇集空间该方法建立在观察到的基础上，即在一个给定的簇中的像素是非局部的，并分布在整个图像平面上。因此，集群中的像素受到雾霾的不同影响，并传递可用于估计传输地图的信息。

        Ren等人的[21]也是一种卷积神经网络（CNN）策略，但与[20]不同的是，传输图首先通过 粗尺度网络计算，然后通过 细尺度网络进行细化。同样，网络的训练是基于一个综合生成的去雾数据集，该数据集从 无雾图像及其相关的深度图作为简化光学模型中的传输图获得。

        

IV. EVALUATION AND DISCUSSION

        密集-雾霾数据集的33对雾霾和无雾霾（地面真实）室外图像已被用来评估在前一节中简要描述的几种具有代表性的单图像脱雾技术。在图2显示7个场景的雾霾数据集和去除图像结果生成的方法使用他等[9]，孟等[13]，脂肪[15]，蔡等[20]，Ancuti等[33]，伯曼等[16]和任等[21]。

        通过分析图2所示的视觉结果，我们可以观察到，基于DCP的[9]、[13]、[33]技术通常恢复了 全局图像结构，但由于气道光估计较差，在模糊区域引入了不愉快的色移。这些扭曲在较 轻/较白的区域更为显著，在这些区域，之前的暗通道通常会失效。同样，Fattal [15]和Berman等人的[16]方法引入了不愉快的 颜色伪影。毫不奇怪，尽管它们没有引入额外的扭曲，Ren等人[21]和Cai等人[20]的基于学习的方法，使用合成模糊数据集训练， 不能消除模糊（白色）外观。总的来说，图2显示，本研究中的所有单一图像去雾技术对于密集雾数据集的场景表现相当差。我们的结论是，分析的方法引入了结构扭曲接近的急剧转变，与伪影更可见的区域远离相机。此外，在某些情况下，去除结果的颜色扭曲 看起来不自然。

 

        除了定性评价外，密雾数据集使单图像去雾技术的客观定量评价成为可能。在我们的数据集中可用的无雾（地面真实）图像允许以相应的模糊结果的每像素保真度来评估结果的质量。在我们的评估中，我们考虑了峰值信噪比（PSNR）， 结构相似度指数度量（SSIM）[36]和CIEDE2000 [37]，[38]。PSNR测量绝对误差，而SSIM是一个基于感知的模型，它考虑了经过亮度和对比度归一化的像素强度的局部模式。SSIM在[-1,1]的范围内评估结果，对于两个相同的图像，最大值为1。对于颜色外观，我们考虑CIEDE2000 [37]，[38]，它测量两个图像之间的 颜色差异，并生成更小的值，以更好地保存颜色。

 

        对图2中所示的图像对进行的基于PSNR和CIEDE2000的定量结果见表一。此外，在表三中，我们总结了整个密集-雾霾数据集的总体定量结果。从这些表格中，我们可以得出结论，He等人[9]和孟等人[13]在 结构和颜色恢复方面的表现略优于其他技术。总的来说，所有分析的脱雾方法在SSIM、PSNR和CIEDE2000项中获得的 性能相对较低。这再次证明了图像脱模糊问题的复杂性。

        结论：我们引入了一个新的去模糊数据集，其中包含密集模糊的场景和它们对应的无雾图像。从我们提出的密集雾数据集可以看出，现有的图像去雾技术并不准备处理密集的模糊场景，在定性和定量上都留下了显著的改进空间。