GRADIENT BASED THRESHOLD FREE COLOR FILTER ARRAY INTERPOLATION

ABSTRACT

彩色滤波器阵列(CFA)插值是单传感器数字相机图像处理管道的组成部分。多年来，许多CFA算法被提出以提高图像质量。其中一个算法就是非常成功的定向线性最小均方误差估计(Directional Linear Minimum Mean-Square Error Estimation, DLMMSE)方法。我们对该算法做了一些观察，并提出了一种新的方法来解决这些问题。本文提出的方法产生了视觉上令人满意的结果，在PSNR方面优于最近一篇调查论文中包含的所有CFA插值算法。

1. INTRODUCTION

大多数数码相机使用单一传感器阵列与彩色滤光片来捕捉图像数据。颜色滤波器阵列的布局决定了在每个像素位置记录哪个颜色通道。为了获得完整的彩色图像，需要从单通道拼接图像中插值缺失的彩色通道信息。这个过程被称为颜色滤镜阵列(CFA)插值或马赛克。虽然有许多不同的CFA模式，但最常见的是拜耳CFA[1]，如图1所示。

简单的插值技术，如最近邻插值或双线性插值可以应用于马赛克问题。然而，忽略边缘结构和通道间相关性的解决方案会导致颜色伪影和模糊输出。早期提出了一种著名的图像马赛克方法，即在初始绿通道插值[2]中使用红色和蓝色像素的二阶导数。这个想法成为后来许多算法的基本组成部分。[3]的作者提出利用颜色差异的方差来决定插值的方向。[4]中的方向滤波和后验决策(DFPD)算法提出在水平方向和垂直方向上进行插值，然后根据每个方向上的梯度和进行硬方向决策。

DLMMSE算法[5]首先计算水平和垂直方向的(G-R)和(G-B)色差。然后，这些计算被视为实际色差的噪声估计，并使用线性最小均方误差框架进行最优组合。绿色通道插值完成后，利用原色差信号和简单的双线性插值填充缺失的红色和蓝色通道像素。[6]作者在DLMMSE算法的基础上，提出了采用方向各向异性尺度自适应滤波进一步提高图像拼接性能。

在本文中，我们提出了一种新的马赛克方法，解决了我们在DLMMSE算法中观察到的一些局限性。首先，由于其方向性，DLMMSE算法只使用目标像素的相邻像素(与目标像素共用一列或一行的像素)的一个子集来确定每个方向对色差计算的贡献。虽然该解决方案在其自己的领域是最优的，但未考虑的邻居像素可能提供额外的信息，可以改善色差估计。这就是为什么我们想要在决策过程中包含一个给定的局部窗口内的每个相邻像素。然而，由于每个像素上可用的色差不是(G-R)就是(G-B)，我们不能像DLMMSE方法那样应用方差度量。出于这个原因，我们使用颜色差异的梯度来获得每个方向的权重。

其次，DLMMSE方法与其他方向方法一样，在水平方向和垂直方向上都有作用。然而，对于一个给定的方向，对于落在目标像素的相反两侧的像素，特别是靠近边缘或在纹理区域的像素，条件可能是不同的。这就是为什么我们要把南北和东西两个方向分开来考虑。我们结合了各个方向的估计，从而消除了设置阈值的需要，而不是做出艰难的方向决定。

本文的其余部分组织如下。第2节详细描述了所提出的demosaicing方法，第3节给出了客观和主观的比较结果，第4节给出了简要的讨论和结论。

2. ALGORITHM OVERVIEW

拜耳CFA模式中绿色通道样本是红色和蓝色通道样本的两倍。这就是为什么绿色通道不受混叠的影响，这使得它成为马赛克过程的起点的自然选择。提出的算法首先在一次运行中插值绿色通道，然后使用其结果填充红色和蓝色通道。

2.1. Green Channel Interpolation

算法的第一步是将Hamilton和Adams的[2]插值公式应用于垂直和水平方向的所有像素。对于红色像素位置，水平和垂直的绿色通道估计计算如下:

同样，对于垂直相邻为红色的绿色像素，垂直红色通道估计为:

对于绿色像素的水平红色通道，

蓝色像素的估计也以同样的方式计算，只需在上面的公式中用B替换R即可。下一步是使用原始和定向估计的像素值找到水平和垂直色差估计。

同样，水平和垂直(G-B)差异估计的计算也是类似的。在这一步结束时，我们有了两个差分图，一个用于水平估计，另一个用于垂直估计，如图2所示。

然后结合方向色差，对目标像素进行最终的差值估计:

可以修改向量f，使接近目标像素的颜色差异具有更大的权重。每个方向(wN,wS,wE,wW)的权重是通过在一个局部窗口上向该方向添加色差梯度来计算的。对于5 * 5的窗口大小:

其中梯度定义为:

最后，将估计的色差与可用的(红色或蓝色)目标像素相加，计算目标绿色像素值:

2.2. Red and Blue Channel Interpolation

蓝色位置的红色像素值和红色位置的蓝色像素值使用[6]中提出的以下过滤器进行插值:

其中⊗表示元素的矩阵乘法，然后是元素的求和。

对于位于绿色位置的红色和蓝色像素，我们使用双线性插值在最近的四个邻居上。绿色像素的垂直相邻点要么是红色像素，要么是蓝色像素。对于红色像素的情况，将绿色像素位置的红色和蓝色像素值插值如下:

插值公式与蓝色垂直邻居的情况相似。在这一点上，我们为每个通道插值缺失的像素，并重建我们的彩色图像。

3. EXPERIMENTAL RESULTS

在最近的一篇调查论文[7]中使用的柯达测试集的前12张图像上测试了所提出的算法。这份调查报告比较了11种最先进的方法，其中我们报告了4种表现最好的方法。这些方法分别是局部多项式逼近(Local Polynomial Approximation, LPA)[6]、定向线性最小均方误差估计(Directional Linear Minimum Mean Square-Error Estimation, DLMMSE)[5]、色差方差(Variance of color difference, VCD)[3]和边缘加权改进逐次逼近(逐次逼近，SA)[8]。PSNR比较结果如表1所示。该算法总体平均PSNR最好，比最近邻法(LPA)和DLMMSE法分别高出0.14 dB和0.64 dB。图3为灯塔图像中常用的栅栏区域进行主观质量比较。

4. CONCLUSION

本文提出了一种易于实现的、非迭代的、基于梯度的马赛克算法。实验结果表明，该算法在客观PSNR比较方面优于其他常用的马赛克算法。在绿色通道插补阶段采用自适应尺寸滤波器代替固定滤波器，可以提高算法的性能。引入一个温和的后期处理步骤也可能改善它的结果。然而，额外的计算成本和质量权衡总是与后期处理步骤有关。