Gradient Domain Guided Image Filtering个人学习笔记

摘要

引导式图像滤波器(GIF)以其保边特性和低计算复杂度，是一种著名的局部滤波器。不幸的是，GIF可能会遭受光晕伪影，因为在GIF中使用的局部线性模型不能很好地在某些边缘附近表示图像。本文结合显式的一阶边缘感知约束，提出了一种梯度域GIF。边缘感知约束使边缘被更好地保持下来。为了说明该滤波器的效率，将所提出的梯度域GIF应用于单图像细节增强、高动态范围图像的音调映射和图像显著性检测。理论分析和实验结果表明，所提出的梯度域GIF可以产生更好的合成图像，特别是在原始GIF中出现晕的边缘附近。

一、引言

在[17]中，提出了一种加权引导图像滤波器(WGIF)来减少GIF的光晕伪影。在GIF的约束项中引入了一个边缘感知因子，该因子使结果图像中的边缘保存得更好，从而减少了光晕的伪影。然而，我们指定了零阶（强度域）约束来获得所需的像素值，以及一阶（梯度域）约束来平滑GIF和WGIF中的像素值。由于没有明确的约束来处理这两种边，因此在某些情况下它们不能很好地保留边，因为它们同时考虑了图像滤波过程和保留边过程。人们普遍认为，梯度是人类感知图像的方式不可或缺的一部分，而人类皮质细胞可能被硬连接到优先响应其感受域[23]中的高对比度刺激，这直接与图像中的梯度相关。因此，需要设计一种新的具有显式约束的局部滤波器来处理边缘，从而使输入图像和输出图像的梯度更加相似。

本文结合显式一阶边缘感知约束，提出了一种梯度域引导图像滤波器。该滤波器基于局部优化，代价函数由零阶数据保真度项和一阶正则化项组成。正则化项包含一个显式的边缘感知约束，它不同于GIF[10]和WGIF[17]中的正则化项。因此，新的局部线性模型中的因子可以更准确地表示图像。边缘保存得更好了。此外，与[17]中的WGIF相比，边缘感知因子是多尺度的，而在WGIF中则是单尺度的。大尺度权重与WGIF中提出的小尺度权重相配合，成为一个多尺度权重。多尺度因子可以更好地将图像的边缘与图像的细节分开。因此，性能得到了极大的提高，特别是当图像的细节得到增强时。与[10]中的GIF和[17]中的WGIF类似，所提出的滤波器也避免了梯度反转。此外，对于具有N个像素的图像，与[10]的GIF和[17]的WGIF相同，所提出的滤波器的复杂度为O(N)。这些特性允许所提出的滤波器在计算摄影和图像处理领域的许多应用。该滤波器首先应用于HDR图像的单个图像细节增强和色调映射。两种应用的实验结果表明，合成算法产生的图像视觉质量比[9]的GIF和[14]的WGIF的图像更好。除了对HDR图像的单一图像细节增强和音调映射外，本文还提出了一种新的应用，即作为图像显著性检测的后处理工具。实验结果表明，所提出的梯度域GIF可以提高显著性检测的精度。

二、引导图像滤波的相关工作

在GIF中，有一个引导图像G和一个需要被过滤的图像X。它们可能是相同的。设ζ1(p)是一个以半径为ζ1的像素p为中心的正方形窗口。假设输出图像ˆZ是引导图像G在窗口ζ1(p)[24]，[25]中的线性变换：

其中，ap和bp是窗口ζ1(p)中的两个常数。它们的值是通过最小化一个成本函数E(ap，bp)得到的，该函数被定义为

 其中，是两个矩阵的元素级乘积。μGX、ζ1(p)、μG、ζ1(p)和μX、ζ1(p)分别为窗口ζ1(p)中GX、G和X的平均值。

GIF是最快的保边局部滤波器之一，在GIF可以避免梯度反转伪影方面，它优于双边滤波器[7]。但是，GIF[10]中λ的值是固定的。因此，当[10]中的GIF被迫平滑边缘时，光晕是不可避免的。在[17]中提出了一种内容自适应GIF来克服这一问题。将式（2）中的代价函数替换如下：

 其中G(p)是一个边缘感知权重，它是通过使用所有像素的3×3窗口的局部方差。

σ2G，1(p)是G在窗口1(p)中的方差。ε是一个较小的正常数，其值被选为(0.001×L)2，L为输入图像的动态范围。引导图像中的所有像素都用于G(p)的计算。此外，加权G(p)测量了像素p相对于整个引导图像的重要性。由于[10]中的盒子滤波器，对于具有N个像素的图像，G(p)的复杂度为O(N)。

[17]中的WGIF可以用于减少光晕的伪影。然而，GIF和WGIF都指定了强域约束（即零阶约束）来获得所需的像素值和梯度域约束（即一阶约束），以在空间和时间上平滑像素值。在这两种方法中都没有明确的约束来处理边。图像滤波通常是一种伴随着图像平滑的图像粗化过程。当同时考虑图像滤波和保边时，边缘不可避免地会被平滑。因此，这些保边方法在某些情况下不能很好地保留[26]。在下一节中，将介绍一个梯度域GIF，其中包含一个显式的一阶边缘感知约束。新的约束条件可以无缝地集成到WGIF中。

三、梯度域引导下的图像滤波

 受[26]和[27]中的梯度商店的启发，在本节中介绍了一个梯度域GIF。该滤波器包含了一个显式的一阶边感知约束，因此它比GIF和WGIF都能更好地保持边。

A.一个新的边缘感知的权重

通过使用3×3窗口的局部方差和（2ζ1+1）×（2ζ1+1）窗口，定义了一个新的边缘感知加权ˆG(p)，如下所示：

其中，χ(p)被定义为σG，1(p)σG，ζ1(p)，ζ1为过滤器的窗口大小。在详细的操作应用程序中，它通常被设置为16。加权ˆG(p)测量像素p相对于整个引导图像的重要性。由于[10]中的盒式滤波器，对于具有N个像素的图像，ˆG(p)的复杂度为O(N)。

一幅图像的G(p)和ˆG(p)的比较如图1所示。可以看出，通过这种新的权重，边缘被检测得更准确。使用新的加权，当它的两个尺度方差都很大时，一个像素将被检测为一个边缘像素。与[17]中WGIF的加权相比，在所提出的多尺度加权中会较少的将检测到的细节当成边缘细节。例如，图1(b)的花瓣上的点比图1(d)多，图1(c)的边缘比图1(d).宽得多因此，所提出的权重更好地增强了细节。此外，在原GIF算法中已经计算出了σG，ζ1(p)。因此，新的边缘感知因子更加准确

 B.提出的滤波器

在线性模型（1）中显示，∇ˆZ(p)=ap∇G(p)。显然，在ζ1(p)中，ˆZ的平滑度取决于ap的值。如果ap的值为1，则该边缘将保留良好。如果像素p在一个边缘，这是可以预料到的。另一方面，如果像素p位于平坦区域内，则期望ap的值为0，从而使平坦区域得到很好的平滑处理。根据观察结果，定义了一个新的成本函数为

 μχ，∞为所有χ(p)的平均值。η的计算方法为4/(μχ，∞−min(χ(p)))。值得注意的是，如果像素p位于一个边缘，则γp的值接近于1，如果它位于一个平滑区域，则γp的值为0。换句话说，如果像素p在边缘，ap值接近1，如果像素p在光滑区域，ap值接近0。因此，所提出的滤波器对λ的选择不那么敏感。随后，该滤波器可以比GIF和WGIF都更好地保持边缘。

 C. 对所提出的过滤器进行分析

 

 

 因为ap的值是1无论选择λ如果像素p在边缘，选择更大的λ提出的过滤器比λGIF和WGIF因为选择不会影响边缘的保护提出的过滤器。显然，如果像素p在一个平面区域内，则ap的值更接近于0。这意味着所提出的过滤器比GIF和WGIF都能更好地平滑平坦区域。