非均匀光照图像去雾方法

《A Point Light Source Interference Removal Method for Image Dehazing》

论文作者：Yanyang Yan, Shengdong Zhang, Mingye Ju, Wenqi Ren1, Rui Wang1, Yuanfang Guo
发表会议：CVPR
发表时间：2020

一、摘要

去除单个图像的雾度一直是一个具有挑战性的问题，并且当朦胧图像中存在点光源时，大多数现有的除雾方法的性能都会降低。在本文中，提出了一种点光源干扰消除方法（PLiSIR），以减少估计大气光时的干扰。根据我们的观察，点光源周围的像素强度可以通过高斯分布近似建模。无论光源的具体数量如何，都可以合理地获得受干扰像素的位置。 然后创建二进制掩蔽图以区分像素是否受光源影响，因此在大气光的估计期间，可以通过去除受干扰的像素，将PLiSIR应用于除雾算法。为了演示如何将PLiSIR应用于不同的算法，我们选择了暗通道先除雾方法（DCP）和颜色衰减先验除雾方法（CAP）作为两种载波方法，并据此介绍了适应方法。实验结果表明，与原始的DCP和CAP方法相比，PLiSIR可以帮助DCP和CAP更好地估计大气光，从而产生更好的除雾效果。此外，PLiSIR还帮助DCP和CAP简化了导引滤波器的参数调整过程。最后，我们将改进的DCP方法（我们称为PLiSIR-DCP）与最新的夜间除雾算法进行了比较，从而提出了一种适用于白天和夜间除雾的方法。

二、背景

2.1 大气成像模型

最广泛应用的大气散射模型如下：

并且当大气是均匀的时，透射率t可以表示为：：

其中d是景深，则要想求得无雾图像J，需要首先估计出A和t。

2.2暗通道先验方法（DCP）

此方法比较经典，不详细介绍，主要公式有：

A：暗通道（即公式3）中最亮的像素，为了提高鲁棒性，选择暗通道中前0.1%的最亮的像素，并求其平均值作为A；
t：根据暗通道先验求得；
J：根据以下公式求得：

2.3 颜色衰减先验方法（CAP）

公式2表示场景透射率t随深度d呈现指数衰减，则Zhu等人提出通过深度估计来恢复t，然后计算大气光和场景辐射。在HSV颜色模型中，雾度的浓度与亮度通道和饱和度通道之间的差异相关，然后，他们提出了一个线性模型：

其中d表示深度，v是亮度分量，s是饱和度分量，${\theta }_0$ 、${\theta }_1$、${\theta }_2$是未知线性系数，$ϵ$(x)是表示随机误差的高斯随机变量，且其均值为0。计算出深度图，可以通过公式2计算透射率。对于大气光估计，在深度图d中搜寻最亮像素的位置，并将有雾图像I中位于同一位置的像素值赋值给A。最后，根据公式5得到增强后的图像J。

三、本文方法

现有的除雾方法在除雾过程中估计大气光，当图片包含点光源时，它们可能会遇到问题。由于点光源通常会增加相邻像素的值，因此它们可能会高估大气光，因此除雾性能会下降。因此，本文提出了一种称为PLiSIR的点光源干扰消除方法，以提高估计精度。为了消除点光源的干扰，必须找到点光源的光干扰范围和位置。

2.1 单点光源的情况

实际上，点光源的影响如图所示的球状三维邻域。光源的总光强度是一个常数，不会因当前球面与点光源本身之间的距离而改变。由于表面积与球的半径成正比，因此表面上的平均光强度与半径成反比。一旦知道半径，就可以很容易地计算出平均光强度。随着半径增加，平均光强度降低。当达到某个阈值时，可以忽略当前距离上对物体的光干扰。当在单个图像上定位点光源及其光干扰范围时，要获得准确的深度图并将二维深度图转换为三维真实距离图是很大的挑战。

2.2 有点光源存在的像素强度分布规律

在实验过程中，观察到点光源周围像素强度的分布可以通过高斯分布近似建模，如下图所示，而未受影响像素的像素强度则显示出随机分布。然后，通过将观察到的像素强度分布与高斯分布拟合，可以定位点光源及其光干扰范围。高斯分布的表达式如下：

在曲线拟合过程中，可以简单地将点光源的位置选择为平均值μ的位置。且曲线和x轴之间的面积与μ和σ有关。因此，当x和μ之间的差值超过阈值Td时，我们认为高斯分布接近于零，即比阈值距离Td更远的像素被认为不受点光源的影响。

2.3 计算单点光源的位置和干扰范围

（1）对于每个有雾图像，创建二进制掩模M以指示当前像素是否受到点光源的干扰，且其初始化为0：

（2）对于给定的有雾图像，无论图像包不包含点光源，本文的方法始终可行。通常，靠近点光源的像素比远处的像素具有更高的强度。离光源越近，像素应该越亮。在输入图像中，仅定位强度最大的像素，并假定它是点光源。选择附近的像素，然后进行曲线拟合以使所选样本的分布适合高斯分布。由于在二维图像中，水平附近像素之间的距离更接近于三维现实中的实际距离，我们选择水平方向附近的像素。为了方便起见，我们将阈值距离Td设置为常数，而与方向无关。
（3）考虑到使用一个像素的强度分布可能会导致结果不准确，因此探索了像素块的平均强度分布以提高鲁棒性。实验表明，与基于像素的分布相比，有一定的改进。如前所述，光源周围的像素强度近似为高斯分布，而其他像素不存在，因此曲线拟合的有效性可以用来判断模糊图像中是否存在点光源。在这里，我们选择平方误差，R平方，均方根误差和调整后的R平方之和作为拟合效果的判别标准。在曲线拟合过程中，将根据这些判别标准测试各种块大小以获得最佳大小。
（4）如果曲线拟合过程无法提供令人满意的拟合结果，则我们认为图像中没有点光源，因为强度最大的像素通常位于最远的区域，而在没有点光源的情况下该区域的强度分布是随机的。 对于这些有雾的图像，我们将其视为无点光源，我们只需对掩蔽图不做任何修改即可，即仍然可以通过载波除雾方法对朦胧的图像进行除雾。
（5）一旦拟合良好，就可以相应地获得高斯分布的参数。平均值μ表示点光源的更精确位置。到光源的距离小于Td的像素被视为受光干扰的像素，并且根据等式8修改掩模M。

2.4 计算多点光源的位置和干扰范围

（1）首先执行先前的单点光源算法以获得初始掩蔽图；
（2）将像素从大到小排序；
（3）根据顺序，在每次迭代中选择一个像素，如果其在M中的对应值为1，则当前像素已经被分类为受光干扰的像素，我们进入下一个迭代；
（4）否则，假设当前位置存在一个点光源，并执行先前的曲线拟合方法以进一步确定该点光源的位置及其潜在影响区域。；
（5）在相应地更新了屏蔽图之后，该算法然后继续进行下一个迭代，当像素强度小于阈值Tf时，终止迭代过程；
（6）为了适应不同的图像内容，将Tf设置为与图像中最大像素强度成比例的变量；
（7）可以在迭代之后获得最终的掩模，最后识别出受光干扰的区域。

2.5 结合载波去雾算法进行图像去雾

一旦获得了最终的掩模M，就可以将其应用于不同的载波去雾算法，以减少估计大气光时的点光源干扰。为了说明PLiSIR对载波算法的适应性，论文采用DCP和CAP作为载波，因为它们代表了最流行和最新的方法。修改后的DCP和CAP算法将分别由PLiSIR-DCP和PLiSIR-CAP表示。
（1）PLiSIR-DCP：与DCP不同之处在于，在暗通道中不再有点光源的干扰。
（2）PLiSIR-CAP：与CAP的不同之处在于，从深度图估计大气光的过程中，深度图不再受点光源干扰。

四、实验结果

可以观察到，除了那些微小的干扰点之外，大多数点光源干扰都是可以识别和定位的。根据实验，在大多数情况下，这些无法识别的微小光源不会降低最终的除雾效果。

4.1 估计点光源结果

4.2 PLiSIR-DCP与DCP对比结果

4.3 PLiSIR-CAP与CAP对比结果