[论文阅读]（Objective Quality Evaluation of Dehazed Images）

---

摘要

1. 自动驾驶或驾驶辅助等基于视觉的智能系统可以通过提高恶劣天气条件下捕捉的场景的可视性来改进。特别是，许多图像去雾算法(DHAs)已被提出，以促进在雾霾天气中的应用。DHA的发展虽取得了长足的进步，但其质量评价却相对滞后。一般情况下，DHAs可以通过人体实验对其进行定性评价，也可以通过客观质量指标对其进行定量评价。相对于耗时、难以应用的主观评价，实际系统更需要具有定量结果的客观测度。
2. 本文系统地研究了真实模糊图像的DHQ评价方法。首先，我们构建了迄今为止最大的DHQ数据库，其中包括1750幅去雾图像，这些图像来自于使用7个具有代表性的DHAs绘制的250幅不同密度的真实雾霾图像。随后对DHQ数据库进行了主观质量评价研究。然后，通过提取和融合三组特征，提出目标DHQ指数(DHQI)，包括:1)去雾的功能；2)结构保护功能；3)过度增强功能，这捕捉到了脱雾最关键的方面。
3. DHQI可用于评价DHAs或优化实际去雾系统。对构建的DHQ数据库和其他3个合成雾霾数据库进行验证，验证了DHQI的有效性。最后，对当前DHA质量评价策略进行了综述，讨论了各策略的优缺点，并提出了系统评价DHA质量的建议。同时，还将发布DHQ数据库和代码，为进一步研究提供便利。

引言

基于视觉的自动驾驶和其他驾驶辅助系统在雾霾、降雨和灰尘等恶劣天气条件下可能会出现能见度低的问题。与人类视觉系统相比，驾驶辅助系统所需的车道、车辆和行人检测等相关技术更容易出现能见度问题。由于可能不要求完美的天气条件，因此提出了许多在各种极端天气条件下提高能见度的具体技术。其中，去除雾霾得到了广泛的研究，由于雾霾天气越来越频繁，提出了许多单图像去雾算法(DHAs)[6][16]。在实际的图像采集系统中，特别是在户外应用系统中，DHAs可用于提高图像的可视性和恢复图像细节。

A. Single Image Dehazing Algorithms

在雾霾天气中捕捉到的图像可以用以下模型[17]描述，这是许多图像去雾研究的基础：

其中I为捕获的雾霾图像，J为真实场景图像，A为全球大气的光，t(i，j)=exp(−βd(i，j))为介质透射，β为大气散射系数，d表示场景深度，i，j为像素指标。第一项J(i，j)e−βd(i，j)是衰减，它描述了场景辐射及其在大气中的衰减；而第二项A(1−e−βd(i，j))是空气，它描述了环境照明。去雾化的目的是从I中估计J、t和A。

B. Quality Evaluation of DHAs

1. 除了dha本身，对dha的评价也很重要。当提出DHA时，需要对其进行评估并与最先进的技术进行比较，或者在应用DHA时，需要选择最佳的算法。此外，有效的综合评价标准可以推动图像去雾研究朝着正确的方向发展。

2. 目前的文献大多从两方面对DHAs进行评价:一是人的定性评价，二是客观指标的定量评价。定性评估是直接和准确的，因为人类往往是去模糊图像的最终接受者。它是目前公认的评价策略，大多数dha在提出[6]、[16]、[18]时都是定性评价。但它有几个严重的缺点。一是费时、费钱，难以进行大规模评估。这样定性评价就变得可控了，因为没有广泛使用的大尺度评价集，选取的有限数量的模糊图像只占实际应用的很小一部分。此外，主观评价难以应用和嵌入到实际系统中，也就很难对系统进行及时的优化。

3. 针对定性评价的弊端，引入了客观质量指标的定量评价方法。定量评价一般有两种策略:使用真实的模糊图像和使用合成的模糊图像。使用真正的模糊图像是更直接的方法。它利用了一些方法来评估由真实的模糊图像直接生成的去雾图像的质量。
   

4. 将无雾图像作为去雾的地面真实值，采用全参考(FR) IQA测度作为评价标准。该策略易于进行定量评价。这种策略的主要缺点是，真实的雾霾可能不同于合成雾霾。如图1所示，合成雾霾和真实雾霾看起来很不一样。理想雾霾模型未必能很好地模拟实际雾霾。**合成雾霾通常被认为是均匀的，而真实的雾霾往往比这复杂得多。**此外，合成雾霾和许多DHAs都是基于理想的雾霾模型，这可能会降低去雾的难度。良好的合成除霾效果并不一定保证良好的真实除霾效果。因此，该策略可以从一个方面对DHAs进行评价，但还需要对真实的朦胧图像进行定量评价。

C. Contributions of This Paper

1. 本文系统地研究了实际模糊图像去雾质量评价方法。为了便于研究，我们首先构建了一个大型去雾质量(DHQ)数据库，其中包括1750幅去雾图像，这些图像来自于使用7个具有代表性的DHAs制作的250幅雾图像。我们从[25]中选取了250幅不同雾霾密度的朦胧图像，选取了7个具有代表性的DHAs进行质量评价。
2. 为了在真实的模糊图像上评价DHAs，我们提出了一种去雾质量指数(DHQI)。好的DHA应该能够尽可能地去除雾霾，保护图像结构不受损害，并避免过度增强等副作用。因此，我们提取了3组特征，包括1)去雾特征，2)保持结构特征，3)过度增强特征，来描述上述去雾的3个关键目标。提取的特征通过回归模块集成到整体DHQI中，利用收集到的主观评价数据进行训练。在DHQ数据库和其他3个合成雾霾数据库上验证了DHQI的有效性。DHQI可用于评价DHAs或优化实际去雾系统。
3. 去雾质量评价是DHA质量评价的主要方法之一，本文对目前DHA质量评价方法进行了综述，并对其优缺点进行了讨论。利用本研究和另一数据库的主观质量评价数据，对两种典型的DHA定量评价策略进行了比较，并在此基础上提出了全面、系统的DHA质量评价建议。综述、讨论和建议是本研究在构建DHQ数据库和提出DHQ之外的第三个贡献。

客观去霾质量评价

为了定量评价DHA，我们提出了去雾图像的去雾质量指数(DHQI)。我们测量去雾质量主要从以下3个方面入手:去雾、保持结构、过度强化。我们提取了3组特征来衡量这3个方面的质量，并将这些特征集成到整体去霾质量中：

A. Pre-Processing

1. 提取的3组特征具有一些共同的过程，这里将其描述为预处理。给定图像I，我们首先计算局部均值和方差：
   
   式中，i、j为像素指标，μ为局部均值，w为局部高斯加权窗口。然后我们将图像归一化：
   
2. 对于去雾图像I_d和朦胧图像I_h，我们遵循相同的过程，计算它们的局部均值、方差和归一化图像为μ_d、μ_h、σ_d、σ_h、I_d、I_h，下标d和h分别表示去雾图像和朦胧图像。在测量图像结构保持和过增强时，我们只使用模糊图像，因此如果没有下标，我们一般表示去模糊图像。同样，我们在测量去雾时只利用颜色信息，因此如果没有具体说明，我们处理的是转换后的灰度图像。

B. Haze-Removing

1. 雾霾主要是指对比度降低、图像细节丢失等可见性问题，而去雾则试图恢复这些丢失的对比度和图像细节。我们使用几个感知雾霾的描述符来检测去雾区留下的雾霾图像评价去雾效果。雾霾天数越多，去雾质量越差.

2. 在[8]中发现了暗通道先验(dark channel prior, DCP)，它描述了在无雾图像中至少有一个颜色通道的强度很低。雾霾的存在可以打破这种先验，雾霾较重通常会导致较亮的暗通道。我们使用像素级的DCP来测量去雾图像中留下的雾霾
   
   其中c {R, G, B}表示去雾图像的RGB通道。

3. 雾霾较少的图像通常包含更多的图像细节，因此我们使用图像熵来测量去雾图像的图像细节
   
   其中p = [p1，…， p256]表示去雾后图像亮度的直方图概率。

4. 去雾的另一个主要目的是恢复对比度，我们利用3个描述符来测量去雾图像的对比度。首先，利用公式(3)计算的局部方差。考虑到局部方差σ一般随局部均值μ变化，我们导出归一化局部方差作为第二个对比度特征
   

5. 这个特性以前在[24]和[25]中用作雾霾感知特性。我们提取对比度能量(CE)[30]作为第三个对比度特征，用于估计感知到的图像局部对比度。C E已在[25]中用于雾霾密度预测，并被证明是一种有效的雾霾感知对比特征。具体来说，CE的计算为
   
   gx和gy分别是高斯函数水平和垂直的二阶导数，ρ是Z(I)的最大值，κ控制对比度增益，τ是用于约束噪声的噪声阈值。读者可以参考[25]和[30]了解CE的更多细节。图3举例说明了所提出方法所使用的相关除霾特征图。
   
   图3所示。去除雾霾的特征图说明。从左至右分别为I、dark、σ、η、CE

C. Structure-Preserving

1. 许多IQA措施利用结构特征，因为它有效地捕获图像退化[28]，[29]，[31]，[32]。图像结构也是去雾质量预测的重要线索，因为DHAs 有时会引入结构伪影 。图4说明了去雾引入的结构伪影的两个典型例子。一个典型的失败发生在当一些dha使用激进的策略试图完全去除雾霾时，但他们可能会破坏固有的图像结构。另一个典型的结构伪影是过度增强，通常在低对比度区域观察到。将一些难以观测到的图像细节作为图像结构，进行增强处理。我们分别提取结构保持特征和过度增强特征来描述这种结构损伤和过度增强。
   
   图4所示。DHAs引入的两种典型结构伪影:结构固有损伤(上)和结构过度增强(下)。并给出了相关的图像结构特征图，包括Ih、Id、sσ、sη、sI(从左至右)。

2. 在FR IQA中，很容易通过对比参考图像和畸变图像的结构来捕捉结构损伤。但在真实的模糊图像上评价DHAs时，我们还没有一个完美的质量参考。考虑到我们只利用结构特征来描述对图像结构有显著改变的结构损伤，我们以模糊图像为参考，衡量模糊图像和去模糊图像之间的结构相似性。对于测量纹理丰富或非常平坦区域的结构损伤，模糊图像的结构可以提供大致的近似参考。

3. 具体来说，我们利用3个结构特征计算Id和Ih之间的结构相似性来衡量图像的结构损伤。首先，推导方差相似度
   
   其中，1是一个用来避免不稳定的常数。然后导出归一化方差相似度

其中，2具有与1相同的功能，ηd和ηh是通过式(7)计算的去模糊和模糊图像归一化方差。最后是归一化图像相似度

其中，ˆId=ˆId+3和ˆIh=ˆIh+3是归一化的去雾和模糊图像。我们添加一个常数3来将归一化的图像缩放到一个正的范围。

D. Over-Enhancement

1. 如第III-C节所述和图4所示，过度增强是另一个典型的结构伪影。它是去雾技术引入的一种副作用，将一些难以观察到的图像细节作为图像结构进行增强。如[24]所示，在没有明显图像结构的低对比度区域过度增强，对感知质量极其有害。我们仍然利用结构特征来描述过度增强。对低对比度区域的结构相似图进行汇聚来描述过度增强
   
   其中下标φ 属于{σ， η， I}表示上述结构特征，N是一个归一化因子，表示集合中表示低对比度区域的像素个数，定义为
   
   其中E(·)计算矩阵中所有值的平均值，theta表示方差小于平均值且方差增强大于平均值的所有像素点。

2. 在去雾之前，一些模糊的图像经过一些压缩。在模糊图像中，由于对压缩程度的适当控制，压缩伪影很难观测到，但可以将其作为图像结构，在去雾过程中加以增强。考虑到JPEG是目前应用最广泛的图像压缩方法，且去雾过程中容易增强块效应，我们将块效应估计为一种过增强。我们检测去雾图像中的角和边，并计算它们的规律性作为块效应
   
   其中c是角图，其中c(i，j)=1或0表示在(i，j)检测到一个角，c类似于c，但只有在8×8块边界检测到角，e，e分别是类似于c，c，的边缘图。该特性已被证明可以有效预测[27]和[31]中基于块的压缩图像和视频的质量。

E. Feature Pooling and Regression

1. 如图5所示，DHQI主要由上面描述的特征提取和本节描述的特征回归两个模块组成。提取的3组特征捕捉了去雾的不同方面，包括去雾、结构保持和过度增强。这些特征既包括单一特征值，如图像熵、过增强，也包括二维特征图，如DCP、(归一化)局部方差、对比度能量、结构相似性。为了从提取的特征中预测单个值的质量分数，我们首先对2D特征图进行特征池化。虽然在IQA[33][35]中基于内容或基于视觉注意力的池化已经被证明是有效的，但为了简单起见，我们的方法采用了平均池化。所有的特征被汇集成单个值，并被连接到一个特征向量f = [f1, f2，…, f12]。表III给出了提取特征的概述。
2. 最后一步是特征回归。考虑到支持向量回归(SVR)和随机森林(RF)的成功，我们选择支持向量回归和随机森林进行回归。如图5所示，模型训练和测试共享同一个框架。我们使用带标签的去雾图像对来训练回归器，利用该模型可以预测任意去雾图像对的质量。给定特征fi = [f1，…， f12]，相应的质量标签qi (MOS)和训练图像集，我们可以使用SVR或RF训练回归器
   
   其中I是图像索引。然后给定质量特征f = [f1，…， f12]，我们可以使用预训练的回归因子预测任何测试图像的质量
   
3. 在本文中，我们主要使用SVR作为回归因子，但我们也会在实验中测试RF回归因子。采用LIBSVM[36]实现径向基函数核支持向量机(SVR)。我们遵循主流IQA措施训练中使用的常见SVR参数设置。MATLAB中的射频实现采用[37]，我们使用默认参数。DHQI需要标记数据进行训练，但训练后可以使用任何去雾图像对预测去雾质量。