去雾论文Single Image Defogging Method Based on Image Patch Decomposition and Multi-Exposure Image Fusion
Liu Q, Luo Y, Li K, et al. Single Image Defogging Method Based on Image Patch Decomposition and Multi-Exposure Image Fusion[J]. Frontiers in Neurorobotics, 2021, 15.
基于图像块分解和多曝光图像融合的单幅图像去雾方法
恶劣的天气条件（如雾、霾）严重影响图像的视觉质量。根据场景深度信息，使用基于物理模型的方法来提高图像可见性，以进行进一步的图像恢复。然而，场景深度信息的不稳定获取严重影响了基于物理模型的方法的去雾性能。此外，大多数基于图像增强的方法侧重于图像对比度和饱和度的全局调整，缺乏用于图像恢复的局部细节。因此，本文提出了一种基于图像块分解和多曝光融合的单图像去雾方法。首先，通过伽马校正处理单个有雾的图像，以获得一组曝光不足的图像。然后增强获得的曝光不足和原始图像的饱和度。接下来，多重曝光图像集中的每张图像（包括曝光不足的图像集和原始图像）被引导滤波器分解为基础层和细节层。首先将基础层分解为图像块，然后构建图像块的融合权重图。对于细节层，首先从图像的亮度分量中提取曝光特征，然后通过构造高斯函数对提取的曝光特征进行评估。最后，结合基础层和细节层以获得去雾图像。将所提出的方法与最先进的方法进行比较。对比实验结果证实了所提出方法的有效性及其优于最先进方法的优越性。
1. 简介
在恶劣天气下，空气中漂浮的细小颗粒（如灰尘、烟雾等）会严重降低图像质量。 降级图像中场景的颜色和细节模糊（Li Y. et al., 2017），影响与图像质量密切相关的应用的性能，如户外视频监控、遥感等。 因此，图像去雾已成为计算机视觉的重要应用。
作为图像处理技术的一个分支，图像去雾技术可以有效地减少雾/霾带来的不利影响，从而增强图像的对比度和可见度。 如图 1A、E 所示，代表两个有雾的图像，图 1B、F 代表图 1A、E 中对应的无雾图像。 有雾和无雾图像的热图分别如图 1C-H 所示。 有雾图像的整体亮度（图 1C、G）高于无雾图像（图 1D、H）的相应亮度。 与无雾图像相比，有雾图像的特征信息明显更模糊，因此需要去除雾/雾以有效恢复捕获的特征信息（Mehrubeoglu et al., 2016）。 现有的图像去雾方法有很多，可以分为基于图像增强、基于图像恢复和基于深度学习方法的图像去雾。
大多数基于图像恢复的去雾方法依赖于大气退化模型的响应。这些方法需要提取有雾图像的先验信息。基于暗通道先验（DCP）方法，首先通过对大量无雾室外图像进行分析，得到暗原色的先验规律，然后估计相应的雾密度（He et al., 2009） .在单幅图像去雾方法的基础上，将可变表面阴影添加到大气散射模型中。该方法假设表面着色和传递函数在统计上是独立的。根据这一假设，对大气散射模型进行了分析。因此，获得了传递函数并从有雾的图像中去除了霾/雾（Fattal，2008）。增强输入图像的对比度以提高图像可见性（Tan，2008）。此外，还提出了快速图像恢复方法（Tarel and Hautiere, 2009）和贝叶斯去雾方法（Nishino et al., 2012; Ju et al., 2019）。雾密度随着景深的变化而变化，因此图像质量的下降也随着空间的变化而变化。物理退化模型需要相应的先验知识来获取场景深度信息。场景深度信息不仅用于估计雾/霾分布，还会影响除雾性能。物理退化模型的先验知识不能直接应用于任何场景，因此场景深度信息的获取不稳定。在不依赖场景深度信息的情况下，基于图像增强的去雾方法可以有效地实现图像去雾。
随着深度学习的发展，深度学习已经应用于图像去雾。 基于深度学习的图像去雾方法分为非端到端和端到端。 非端到端方法使用卷积神经网络 (CNN) 来估计大气散射模型中的参数，并将参数作为输出。 将参数引入大气散射模型以进行图像恢复（Cai 等，2016）。 端到端去雾方法将雾图像输入 CNN，然后直接输出去雾图像（Li B. et al., 2017）。
基于图像增强的去雾方法将图像退化视为缺乏对比度和饱和度。通过图像增强可以改善雾场景中的细节信息。这些方法不需要考虑图像质量下降的物理原因（如雾/霾），可以有效避免场景深度和深度映射过程的先验估计。代表性的去雾方法包括：直方图均衡化（Reza, 2004; Thomas et al., 2011）、基于 retinex 的方法（Rahman et al., 2004）、同态滤波器（Yu et al., 2015）、小波变换（Rong and Jun , 2014; Jin et al., 2018a)，以及基于图像融合的去雾方法（Li Y. et al., 2017; Galdran, 2018）。这些方法增强了图像对比度和饱和度，从而提高了图像视觉质量。首先从单幅模糊图像中提取详细的图像信息，然后融合以恢复模糊区域的细节。然而，将两幅图像简单融合得到的去雾结果并不能保留原始有雾图像中场景的所有细节信息。提高图像融合技术在去雾过程中的细节保留能力。 Galdran (2018) 将多重曝光融合技术引入到图像去雾中。通过伽马校正从一张图像中提取不同曝光水平的多幅图像，饱和度和对比度作为融合的权重。使用多重曝光融合方法从全局增强来提高图像视觉质量。然而，在全局增强过程中可能会忽略一些局部信息，这会影响最终输出图像的清晰度。因此，有必要分别优化全局和局部曝光（Qi 等，2020）。
针对上述问题，本文提出了一种基于图像块分解和多曝光融合的单图像去雾方法。由于雾密度对对比度敏感，因此使用伽马函数通过调整图像对比度来还原局部信息的细节。对单个输入的有雾图像进行伽马校正，得到一组不同对比度的曝光不足图像。对曝光不足图像和原始图像同时应用空间线性饱和度增强，然后得到一组具有对比度和饱和度增强的模糊图像。为了保留更详细的信息，使用图像分解和融合来增强有雾图像的详细信息。在引导滤波器的帮助下，将饱和度调整后获得的每个多曝光图像在空间域中分解为基础层和细节层。引导过滤器不会破坏处理图像的任何结构和详细信息。在基础层，使用固定大小的移动窗口提取图像块，从每个图像块中选择质量最好的区域进行图像块的融合。根据每张输入图像的曝光特征，在最佳曝光模式下估计细节层中每个像素的值。为图像融合构建基础层和细节层的权重图。因此，融合基础层和细节层后获得无雾图像。本文有以下两个主要贡献。
- 该方法可以有效避免场景深度先验估计和深度映射的复杂过程。 通过调整有雾图像的对比度，得到一组曝光不足的图像。 空间线性饱和度调整用于提高图像饱和度。 通过图像块结构分解优化有雾图像的局部特征，以提高无雾图像的视觉质量。
- 所提出的方法可以进一步提高获得的无雾图像的视觉质量。 每个曝光图像被分解为基础层和细节层。 在基层，通过图像块结构分解优化局部曝光质量。 在细节层，通过曝光度评价模型优化全局曝光质量。
本文的其余部分安排如下。 第2节讨论相关工作； 第 3 节详细阐述了建议的解决方案； 第4节分析对比实验结果； 第 5 节总结了本文。
2.相关工作
一些研究人员将图像去雾视为一种图像恢复，因此可以通过大气光散射模型获得无雾图像（Gonzalez et al., 2014）。 He 等人提出的暗通道先验 (DCP) 方法作为代表性解决方案。 (2009) 在每个像素周围的局部邻域的颜色通道中制作至少一个低强度像素。该方法学习有雾图像与对应场景深度的映射关系，并利用学习到的图像透射图的值来检索物理模型，从而通过物理模型计算得到无雾图像。朱等人。 (2015) 基于雾图像的先验信息建立了线性模型。根据先验的场景深度信息，利用大气散射模型估计透光率，还原场景辐射度，从而有效消除单幅图像中的雾气。He等人。 (2016) 提出了一种用于图像去雾的凸优化公式。在所提出的有雾图像模型中，建立双线性耦合的有雾图像和透光分布项来直接重建无雾图像。范等人。 (2016) 构建了一个两层高斯过程回归模型，建立了输入图像与其深度信息传输之间的关系。该方法学习局部图像结构的先验知识，将输入图像的多尺度特征向量映射到对应的透射光上。训练模型用于恢复无雾图像。王等人。 (2019) 发现模糊区域主要集中在 YCrCb 颜色空间的亮度通道上。因此，可以恢复亮度通道中缺少的纹理信息，以增强有雾场景的视觉对比度。袁等人。 (2017) 介绍了高斯混合模型 (GMM)。基于雾度密度特征图，输入的有雾图像被分割成多个场景。分割结果可以有效识别 DCP 不能很好处理的天空区域。在改进的 DCP 模型（Singh 和 Kumar，2017）中，通过使用联合三边滤波器获得大气面纱增强估计，并重新定义透射图以减少颜色失真。刘等人。 (2017) 提出了基于雾霾厚度图 (HTM) 的地面辐射抑制雾霾厚度图 (GRS-HTM) 来计算雾图像中的雾分布。可见波段受雾密度的影响。每个波段的雾成分通过 GRS-HTM 计算以恢复无雾图像。雾密度随景深而变化，因此图像质量的下降也是空间可变的。大气退化模型依赖于对应场景的深度信息，但场景深度信息的获取不稳定。这会影响雾分布和除雾性能的准确估计。不依赖场景深度信息，提出了基于图像增强的去雾方法。
基于图像增强的去雾方法主要侧重于增强图像对比度和饱和度以及突出图像细节。余等人。 (2015) 将雾图像从 RGB 转换为 HSV 空间。将重叠的子块同态滤波器应用于亮度分量，并将处理后的图像转换回RGB空间以获得无雾图像。金等人。 (2017) 结合 DCP、对比度约束自适应直方图均衡和离散小波变换 (CLAHE-DWT)。首先，DCP 改进了传递函数的估计。然后，分别通过 CLAHE-DWT 提高图像对比度和清晰度。最后，将经过 CLAHE-DWT 处理的图像融合以生成增强图像。加德兰等人。 (2015) 提出了一种增强型可变图像去雾 (EVID) 方法。该方法通过调整灰度世界假设来增强局部低像素。通过控制饱和度来还原图像颜色，并且还提高了不同通道之间的图像对比度**。图像融合是图像去雾中使用的重要方法，可以有效改善图像对比度、细节信息等**（Jin et al., 2020; Liu et al., 2020）。在同一场景中，由于成像设备无法同时对不同深度的物体进行对焦，因此采用多焦点图像融合技术，从多幅图像中提取不同的焦点区域，合成清晰的图像（Jin et al., 2018b; Liu等，2019b）。融合框架将源图像分解为高通和低通子带。高通子带采用基于相位一致性的融合规则处理，低通子带采用基于局部拉普拉斯能量的融合规则处理。融合图像是通过对处理后的高通和低通子带进行逆变换得到的。融合后的图像不仅包含增强的细节特征，还保留了源图像的结构信息（Zhu et al., 2019）。李 Y. 等。 (2017) 首先使用自适应颜色归一化方法来校正颜色失真图像，然后增强原始图像和颜色校正图像的局部细节。以暗通道、锐度和显着性特征作为图像融合的权重图，采用金字塔融合策略重建图像。刘等人。 (2019a) 首先通过对数变换将散斑噪声转换为加性噪声。然后，通过格雷理论对局部图像块进行匹配，得到由参考块的相似块分组的近似低秩矩阵。小波变换用于估计噪声图像的噪声方差。最后，加权核范数最小化用于去噪图像。高等人。 (2020) 通过分割大气光范围，获得了一组不同曝光水平的自建图像。为此，提出了一种基于尺度不变特征变换（SIFT）流的自适应多曝光图像融合方法。在融合的基础上，利用两层视觉选择器自适应选择不同曝光级别的自建图像。 Galdran (2018) 将多重曝光图像融合方法应用于图像去雾。增强全局图像曝光质量以提高图像视觉质量。这种方法增强了图像的全局特征，但局部特征的增强是不确定的，影响了图像质量。在同样的基础上，朱等人。 (2021) 还使用伽马校正来获得一组不同曝光的图像。通过分析全局和局部曝光，构建权重图以指导融合过程。去雾图像是经过饱和度调整后得到的。郑等人。 (2020) 在伽马校正后直接调整曝光不足图像的饱和度，并提出了一种基于图像块自适应分解的融合方法。通过拟合纹理熵和图像块大小来实现图像块大小的自适应选择。高权重分配给具有良好视觉质量的图像块以进行图像融合。与该方法类似，本文还提出了一种基于图像块的多曝光融合方法进行图像去雾。图像恢复是通过优化局部和全局曝光质量来实现的。
现在，深度学习被广泛用于图像去雾。蔡等人。 (2016) 首次将深度学习应用于图像去雾并提出了 DehazeNet。本文使用 DehazeNet 估计大气散射模型中的介质传输图。一个朦胧的图像作为输入，并输出其介质传输图。然后，通过大气散射模型恢复无雾图像。并提出了一种新的非线性激活函数，该函数提高了恢复无雾图像的质量。 Zhang 和 Patel (2018) 提出了一种新的单图像去雾方法，称为密集连接金字塔去雾网络 (DCPDN)。 DCPDN 包括两个生成器，分别用于生成透射图和大气光。设计了一种具有多级金字塔池模块的新的边缘保留密集连接的编码器-解码器结构来估计传输图。然后利用U-net结构对大气光进行估计。将透射图和大气光引入大气散射模型，还原无雾图像。提出了一种基于生成对抗网络（GAN）框架的联合鉴别器，以进一步结合估计的透射图和去雾结果之间的相互结构信息。这种使用网络估计参数的去雾方法仍然需要借助大气散射模型。李 B. 等。 (2017) 提出了一种使用 CNN 构建的图像去雾模型，称为多合一去雾网络 (AOD-Net)。本文没有分别估计透射图和大气光，而是通过轻量级CNN直接生成清晰的图像。秦等人。 (2020) 提出了一种用于单幅图像去雾的端到端特征融合注意网络 (FFA-Net)。本文结合了通道注意力和像素注意力机制，形成了一个新颖的特征注意力（FA）模块。 FA 更关注厚雾像素和更重要的通道信息。并且局部残差学习允许通过多个跳过连接绕过不太重要的信息。为了赋予重要特征更多的权重，提出了一种基于注意力的不同级别特征融合（FFA）结构，特征权重是从 FA 自适应学习的。
3. 建议的图像去雾方法
如图2所示，本文提出的单幅图像去雾方法对输入的有雾图像进行伽马校正，得到一组曝光不足的图像。 曝光不足的图像和原始图像都通过空间线性饱和度得到增强。 所有图像都通过引导过滤器分解为基础层和细节层。 固定大小的移动窗口用于从基础层提取图像块。 使用信号强度、信号结构和平均强度等低级特征来提高融合质量。 通过结构分解方法将图像块分解为信号强度、信号结构和平均强度。 选择上述三个低级特征中质量最好的区域进行融合。 每个输入图像的整体亮度分量用于提取曝光特征，并应用提取的特征来优化细节层的全局曝光质量。
3.1. Gamma 函数的图像预处理
Gamma 校正用于通过增加或减少输入图像的曝光来改变模糊区域的局部对比度来非线性地调整输入模糊图像 I(x)。
（1）
I ( x ) ↦ α ⋅ I ( x ) γ I(x) \mapsto \alpha \cdot I(x)^{\gamma} I(x)↦α⋅I(x)γ
其中 α 和 γ 是正数。 当 γ < 1 时，明亮区域的灰度被压缩。 暗区的灰度被拉伸得更亮，整个图像变亮，导致高亮度内容的色调太亮。 因此，细节内容在人类视觉感知中并不明显（Galdran，2018）。 相反，当γ>1时，整个图像变暗，得到一系列曝光不足的图像，图像细节突出。 对于输入的有雾图像 I(x)，给定区域的对比度 Y 如下所示。
（2）
Y ( Ω ) = y I max Ω − y I min Ω Y(\Omega)=y_{I_{\max }^{\Omega}}-y_{I_{\min }^{\Omega}} Y(Ω)=yImaxΩ−yIminΩ
其中
y I max Ω = max { y I ( x ) ∣ x ∈ Ω } y_{I_{\max }^{\Omega}}=\max \left\{y_{I(x)} \mid x \in \Omega\right\} yImaxΩ=max{ yI(x)∣x∈Ω}
y I min Ω = min { y I ( x ) ∣ x ∈ Ω } y_{I_{\min }^{\Omega}}=\min \left\{y_{I(x)} \mid x \in \Omega\right\} yIminΩ=min{ yI(x)∣x∈Ω}
当γ > 1 时，一组曝光不足的图像由等式（2）获得。 Gamma 校正是一种全局校正，降低了一些中等曝光区域的对比度。 如图3所示，γ的取值分别为2、3、4或5，通过伽马校正得到四幅不同曝光的雾像。 不同的曝光图像突出不同区域的细节。
3.2. 饱和度增强
输入的有雾图像I(x)通过伽马射线校正得到一组多重曝光图像序列Q = {I1 (x) , I2 (x) , …, IN (x) |N = 5 } . 每张图像都有 In (x) = IR n (x) , IG n (x) , IB n (x) 。 对于每个图像，计算每个像素的最大值和最小值。
（3）
{ r g b max = max ( R , max ( G , B ) ) r g b min = min ( R , min ( G , B ) ) \left\{\begin{array}{l} r g b_{\max }=\max (R, \max (G, B)) \\ r g b_{\min }=\min (R, \min (G, B)) \end{array}\right. { rgbmax=max(R,max(G,B))rgbmin=min(R,min(G,B))
当
Δ = ( r g b max − r g b min ) / 255 > 0 \Delta=\left(r g b_{\max }-r g b_{\min }\right) / 255>0 Δ=(rgbmax−rgbmin)/255>0
图像中每个像素的饱和度 P 计算如下。
（4）
P = { Δ / value , L < 0.5 Δ / ( 2 − value ) , L ≥ 0.5 P=\left\{\begin{array}{l} \Delta / \text { value }, L<0.5 \\ \Delta /(2-\text { value }), L \geq 0.5 \end{array}\right. P={ Δ/ value ,L<0.5Δ/(2− value ),L≥0.5
其中，
value = ( r g b max + r g b min ) / 255 \text { value }=\left(r g b_{\max }+r g b_{\min }\right) / 255 value =(rgbmax+rgbmin)/255
且
L = value / 2 L=\text { value } / 2 L= value /2
每个像素的饱和度被归一化。 对RGB的三个通道进行相同的调整操作，每幅图像的饱和度增量调整在[-100, 100]范围内。
当 Increment ≥ 0 时，RGB 的三个通道通过等式（5）进行调整。
（5）
I n ′ ( x ) = I n ( x ) + [ I n ( x ) − L × 255 ] × α I_{n}^{\prime}(x)=I_{n}(x)+\left[I_{n}(x)-L \times 255\right] \times \alpha In′(x)=In(x)+[In(x)−L×255]×α
其中，
α = 1 / β − 1 \alpha=1 / \beta-1 α=1/β−1
I n ′ ( x ) = [ I n R ′ ( x ) , I n G ′ ( x ) , I n B ′ ( x ) ] I_{n}^{\prime}(x)=\left[I_{n}^{R^{\prime}}(x), I_{n}^{G^{\prime}}(x), I_{n}^{B^{\prime}}(x)\right] In′(x)=[InR′(x),InG′(x),InB′(x)]
表示饱和度调整后图像的饱和度。
（6）
β = { P , Increment + P ≥ 1 1 − Increment , else \beta=\left\{\begin{array}{l} P, \quad \text { Increment }+P \geq 1 \\ 1-\text { Increment }, \quad \text { else } \end{array}\right. β={ P, Increment +P≥11− Increment , else
当 Increment < 0 时，RGB 的三个通道通过等式（7）进行调整。
（7）
I n ′ ( x ) = I n ( x ) + [ I n ( x ) − L × 255 ] × ( 1 + α ) I_{n}^{\prime}(x)=I_{n}(x)+\left[I_{n}(x)-L \times 255\right] \times(1+\alpha) In′(x)=In(x)+[In(x)−L×255]×(1+α)
其中，α = Increment.
3.3. 多重曝光图像融合去雾
3.3.1. 基于导向滤波的图像分解
输入图像 { I n ′ ( x ) ∣ 1 ≤ n ≤ N , N = 5 } \left\{I_{n}^{\prime}(x) \mid 1 \leq n \leq N, N=5\right\} { In′(x)∣1≤n≤N,N=5}被分解为基础层和细节层。 输入图像的亮度分量 Gn 由 RGB 的三个通道的加权和计算得出。 由于引导滤波器可以保持边缘保持平滑（Li et al., 2012），因此通过引导滤波器获得基础层如下。
（8）
B n = T r , δ ( G n , G n ) B_{n}=T_{r, \delta}\left(G_{n}, G_{n}\right) Bn=Tr,δ(Gn,Gn)
其中 Tr,δ (Z,H) 是引导滤波器算子，r 是滤波器半径，δ 用于控制模糊度。 Z 和 H 分别表示输入图像和引导图像。 Gn 表示输入图像和引导图像（Nejati 等，2017）。 细节层Dn如下获得。
（9）
D n = I n ′ ( x ) − B n D_{n}=I_{n}^{\prime}(x)-B_{n} Dn=In′(x)−Bn
3.3.2. 基于全局和局部优化的融合去雾
如图4所示，全局和局部曝光的优化都是通过结构分解来实现的。 固定大小的移动窗口用于从基础层提取图像块 b n j = { b n j ∣ 1 ≤ n ≤ N , 1 ≤ j ≤ J } b_{n}^{j}=\left\{b_{n}^{j} \mid 1 \leq n \leq N, 1 \leq j \leq J\right\} bnj={ bnj∣1≤n≤N,1≤j≤J}
表示第 n 个图像的第 j 个图像块。 Ma等人提出的结构分解。 (2017) 用于分解图像块。图像块由方程（10）分解为三部分：信号强度 y jn 、信号结构 p j n 和平均强度 g jn 。
（10）
b n j = ∥ b n j − μ b n j ∥ ⋅ b n j − μ v n j ∥ b n j − μ b n j ∣ + μ b n j = ∥ b ~ n j ∥ ⋅ b ~ n j ∥ b ~ n j ∣ + μ b n j = y n j ⋅ p n j + g n j \begin{aligned} &b_{n}^{j}=\left\|b_{n}^{j}-\mu_{b_{n}^{j}}\right\| \cdot \frac{b_{n}^{j}-\mu_{v_{n}}^{j}}{\| b_{n}^{j}-\mu_{b_{n}}^{j}} \mid+\mu_{b_{n}^{j}} \\ &=\left\|\tilde{b}_{n}^{j}\right\| \cdot \frac{\tilde{b}_{n}^{j}}{\| \tilde{b}_{n}^{j} \mid}+\mu_{b_{n}^{j}} \\ &=y_{n}^{j} \cdot p_{n}^{j}+g_{n}^{j} \end{aligned} bnj=∥∥∥bnj−μbnj∥∥∥⋅∥bnj−μbnjbnj−μvnj∣+μbnj=∥∥∥b~nj∥∥∥⋅∥b~nj∣b~nj+μbnj=ynj⋅pnj+gnj
其中 μ b n j \mu_{b_{n}^{j}} μbnj
是每个图像块的平均值，
∥ ⋅ ∥ \|\cdot\| ∥⋅∥
是向量的 l2 范数。
图像集中同一空间位置的所有图像块的最高信号强度作为融合图像块的预期信号强度 ˆyj。
（11）
y ^ j = max 1 ≤ n ≤ N y n j = max 1 ≤ n ≤ N ∥ b ~ n j ∥ \hat{y}^{j}=\max _{1 \leq n \leq N} y_{n}^{j}=\max _{1 \leq n \leq N}\left\|\tilde{b}_{n}^{j}\right\| y^j=1≤n≤Nmaxynj=1≤n≤Nmax∥∥∥b~nj∥∥∥
为了获得期望的图像块信号结构，输入图像块集的信号强度（疑似笔误，应该是信号结构）的加权平均计算如下。
（12）
p ^ j = ∑ n = 1 N P ( b ~ n j ) p n j / ∑ n = 1 N P ( b ~ n j ) ∥ ∑ n = 1 N P ( b ~ n j ) p n j / ∑ n = 1 N P ( b ~ n j ) ∥ \hat{p}^{j}=\frac{\sum_{n=1}^{N} P\left(\tilde{b}_{n}^{j}\right) p_{n}^{j} / \sum_{n=1}^{N} P\left(\tilde{b}_{n}^{j}\right)}{\left\|\sum_{n=1}^{N} P\left(\tilde{b}_{n}^{j}\right) p_{n}^{j} / \sum_{n=1}^{N} P\left(\tilde{b}_{n}^{j}\right)\right\|} p^j=∥∥∥∑n=1NP(b~nj)pnj/∑n=1NP(b~nj)∥∥∥∑n=1NP(b~nj)pnj/∑n=1NP(b~nj)
其中权重函数
P ( b ~ n j ) = ∥ b ~ n j ∥ t P\left(\tilde{b}_{n}^{j}\right)=\left\|\tilde{b}_{n}^{j}\right\|^{t} P(b~nj)=∥∥∥b~nj∥∥∥t
决定了每个图像块对融合图像块的贡献，t≥0是一个指数参数。当t的值越大，强度越高的图像块被突出显示。
输入图像中每个图像块的曝光质量由二维高斯函数测量。
（13）
G ( μ n , g n j ) = exp ( − ( μ n − 0.5 ) 2 2 δ μ 2 − ( g n j − 0.5 ) 2 2 δ g 2 ) G\left(\mu_{n}, g_{n}^{j}\right)=\exp \left(-\frac{\left(\mu_{n}-0.5\right)^{2}}{2 \delta_{\mu}^{2}}-\frac{\left(g_{n}^{j}-0.5\right)^{2}}{2 \delta_{g}^{2}}\right) G(μn,gnj)=exp(−2δμ2(μn−0.5)2−2δg2(gnj−0.5)2)
其中 δμ 和 δg 是构建的二维高斯函数的高斯标准差。 δμ 和 δg 分别控制沿 μn 和大小 g jn 的轮廓扩展。 图像块的预期平均强度 ˆgj 如下所示。
（14）
g ^ j = ∑ n = 1 N G ( μ n , g n j ) g n j ∑ n = 1 N G ( μ n , g n j ) \hat{g}^{j}=\frac{\sum_{n=1}^{N} G\left(\mu_{n}, g_{n}^{j}\right) g_{n}^{j}}{\sum_{n=1}^{N} G\left(\mu_{n}, g_{n}^{j}\right)} g^j=∑n=1NG(μn,gnj)∑n=1NG(μn,gnj)gnj
ˆyj、ˆpj 和 ˆgj 形成一个新向量。 融合图像块 ˆbj 表示如下。
（15）
b ^ j = y ^ j ⋅ p ^ j + g ^ j \hat{b}^{j}=\hat{y}^{j} \cdot \hat{p}^{j}+\hat{g}^{j} b^j=y^j⋅p^j+g^j
为了优化局部曝光质量，使用固定大小的移动窗口从输入图像的基层中提取相同空间位置的图像块。 重叠图像块中的像素被平均。 重复上述图像块的分解和融合步骤，然后利用
∑ j = 1 J b ^ j \sum_{j=1}^{J} \hat{b}^{j} j=1∑Jb^j得到
基础层的融合图像B’。
二维高斯函数用于评估B’的曝光质量并优化B’的全局曝光质量。 B’ n 中每个像素的混合权重 En,B x, y 计算如下。
（16）
E n , B ( x , y ) = exp ( − ( B ′ ( x , y ) − 0.5 ) 2 2 δ μ 2 − ( G ˉ − 0.5 ) 2 2 δ g 2 ) \mathrm{E}_{n, B}(x, y)=\exp \left(-\frac{\left(B^{\prime}(x, y)-0.5\right)^{2}}{2 \delta_{\mu}^{2}}-\frac{(\bar{G}-0.5)^{2}}{2 \delta_{g}^{2}}\right) En,B(x,y)=exp(−2δμ2(B′(x,y)−0.5)2−2δg2(Gˉ−0.5)2)
ˆB 表示输入图像集中每个基础层图像的加权和及其在融合图像中的相应权重 En,B。
（17）
B ^ = ∑ n = 1 N E n , B B ′ \hat{B}=\sum_{n=1}^{N} \mathrm{E}_{n, B} B^{\prime} B^=n=1∑NEn,BB′
3.3.3. 基于高斯权重法的曝光融合图像
每个亮度分量用一个 7 × 7 的均值滤波器进行卷积，以简单计算多重曝光图像集中每个像素的曝光特征 ϕn(x,y)， ϕn(x,y)是周围小区域的平均强度像素(x,y)。 通过分析不同像素的明暗变化来估计最佳曝光模式下细节层中每个像素的值。 使用曝光度评估模型计算第n个输入图像细节层中每个像素(x, y)的权重En,D x, y。
（18）
E n , D ( x , y ) = exp ( − ( φ n ( x , y ) − φ 0 ) 2 2 δ d 2 ) \mathrm{E}_{n, D}(x, y)=\exp \left(-\frac{\left(\varphi_{n}(x, y)-\varphi_{0}\right)^{2}}{2 \delta_{d}^{2}}\right) En,D(x,y)=exp(−2δd2(φn(x,y)−φ0)2)
其中 ϕn (·) 是曝光特征，δd 是高斯标准偏差，而 ϕ0 作为最佳曝光常数等于强度范围的中间值。
去雾图像定义如下。
(19)
J ( x ) = B ^ + ω ∑ n = 1 N E n , D D n J(x)=\hat{B}+\omega \sum_{n=1}^{N} \mathrm{E}_{n, D} D_{n} J(x)=B^+ωn=1∑NEn,DDn
其中 ω ≥ 1 控制去雾图像 J (x) 的细节强度和局部对比度。 根据融合性能的实验结果，ω取值为1.1。
3.3.4. 去雾后图像强度降低的验证
Koshmieder 提出了一种大气散射模型来解决由雾引起的图像退化问题（Gonzalez 等，2014）。
(20)
I ( x ) = t ( x ) J ( x ) + A ( 1 − t ( x ) ) I(x)=t(x) J(x)+A(1-t(x)) I(x)=t(x)J(x)+A(1−t(x))
其中 I (x) 表示有雾的图像。 J (x) 表示对应的 I (x) 的无雾图像。 A 代表全球大气光。 t (x) 是透射光。 t (x) J (x) 描述了场景在介质中的辐射和衰减。 A [1 − t (x)] 是大气光公式。
降低图像强度的方程 (20) 用于形式化有雾图像。 本文对有雾的图像进行曝光不足或过曝处理，并融合相应的曝光结果，得到曝光质量较好的图像区域。 为了满足降低图像强度的要求，所提出的方法仅应用于曝光不足的图像以减少全局曝光。 当γ > 1 时，很容易验证使用B′ n = PJ j=1 ˆb j n 得到的融合图像始终满足图像强度降低的要求。
（待补充……）
4. 实验分析
4.1. 实验准备
对比实验中使用了 83 张不同尺寸的真实世界雾状自然图像。这些图像可以从 http://live.ece.utexas.edu/research/fog/fade_defade.html、http://github.com/agaldran/amef_dehazing、http://github.com/JiamingMai/Color 下载-Attenuation-Prior-Dehazing 或由我们自己捕获。从 http://sites.google.com/view/reside-dehaze-datasets 下载的具有 100 张场景图像的合成雾图像数据集 (RESIDE) (Li et al., 2019)。我们自己从谷歌地球上收集了一百幅遥感地理图像。十七幅真实世界的隧道图像是我们自己收集的。使用了 13 种图像去雾方法进行比较，它们是 AMEF (Galdran, 2018)、CAP (Zhu et al., 2015)、CO (He et al., 2016)、DCP (He et al., 2009)、DEFADE ( Choi et al., 2015)、GPR (Fan et al., 2016)、MAMF (Cho et al., 2018)、OTE (Ling et al., 2018)、WCD (Chiang and Chen, 2012)、DehazeNet (Cai et al., 2016)、FFA-Net (Qin et al., 2020)，一种基于人工多重曝光图像融合 (MIF) (Zhu et al., 2021) 和提出的去雾方法的新型快速单幅图像去雾算法。所有实验均由 MATLAB 2016b 编程并在具有 Intel [email protected] GHz CPU 和 16.00 GB RAM 的台式机上运行。
4.3. 客观评价
结构相似性 (SSIM)（Wang 等人，2004 年）、峰值信噪比（PSNR）（Hore 和 Ziou，2010 年）、雾感知密度评估器（FADE）（Choi 等人，2015 年）和熵（ 清等人，2016）作为客观评价指标。 SSIM 用于衡量去雾图像和参考图像之间的相似度。 高 SSIM 值意味着有雾和去雾图像之间的高相似性。 PSNR用于测量去雾图像与参考图像相比的失真。
5. 结论
所提出的方法无需任何场景深度信息的先验知识即可有效地实现除雾。单幅模糊图像首先通过伽马校正进行校正，然后得到一组曝光不足的图像。多重曝光图像集由这些曝光不足的图像和原始的有雾图像组成。接下来，调整多重曝光图像的饱和度。多重曝光图像通过引导过滤器分解为基础层和细节层。通过图像块分解增强图像细节。使用平均强度、信号强度和信号结构等低级特征来提高融合质量。从每个基础层图像块中收集质量最好的区域，用于图像块的融合。通过使用每个输入图像的全局亮度分量来优化细节层的全局曝光质量。对比实验结果证实了所提出方法的有效性及其优于最先进方法的优越性。所提出的方法可以应用于自然图像、合成图像、遥感地理图像和隧道图像以提高图像质量。该方法包括图像尺度分解、曝光质量检测、基础层图像融合和细节层图像融合。这些计算过程可以实现有效的图像去雾，但也增加了计算复杂度。未来将设计一种更简单、更有效的融合策略，以减少图像去雾的计算步骤和运行时间，同时保持去雾性能。