【文献阅读】Self similarity driven color demosaicking

[PDF][Code]

1. 摘要

        每个像素只测量一种颜色成分，红色、绿色或蓝色，人们可以在每个像素推断出整个颜色信息。这种推断需要深刻理解颜色之间的相互作用，以及图像局部几何的参与。虽然在以非常小的相对误差进行这种推断方面非常成功，但当局部几何不能从邻近像素推断时，最先进的去马赛克方法就失败了。在这种情况下，当薄结构或精细的周期性图案在原始中出现时，最先进的方法可能会产生令人不安的伪影，称为拉链效应，模糊和色斑。本文的目的是表明这些伪影可以通过涉及图像的自相似性来推断缺失的颜色来避免。详细的实验表明，即使在最危急的情况下，也能找到令人满意的解决方案。将在两个不同的经典图像数据库上进行与最先进算法的广泛比较。

2. 引言

        现有的插值方法用来还原CFA图像。最近的算法有两个明显不同的步骤。第一步利用CFA拼接图像的全部颜色信息重构绿色通道，通常遵循Hamilton-Adams[8]观测。第二步通过将红色和蓝色通道的低频与绿色通道获得的高频相结合来插值红色和蓝色通道，正如科克[6]提出的那样。这两个步骤都假设三个通道高度相关。

2.1 存在问题

        当无法从邻近像素推断出局部几何形状时，所有方法都失败。在这种情况下，会发生(例如)当薄结构或精细周期模式存在于原始，局部方法可以创建插值伪影:1)在红色和蓝色通道混叠;2)错误插入的结构，3)所谓的拉链效应，[18]中定义为创建孤立和对比的点，4)色斑。

2.2 提出方法    

        ①非局部自相似：重建几何特性

        ②颜色正则：通过将信息从绿色通道传递到红色和蓝色通道来更新颜色。

        提出方法主要在于利用自相似特性（超分中常用手段），改进绿色通道的插值。一般来说，超分涉及到先联合配准，然后融合的多幅图像。在我们的例子中，同一图像的补丁之间存在内部配准，导致填充缺失的颜色值。因此，这个过程本质上与许多经典的超分辨率算法相同，即使它涉及到单个图像。

3. 方法

3.1 自相似驱动的超分/去马赛克

        首先单通道内使用双线性等方法进行独立插值，然后考虑到自相似性，对插值像素进行修正。首先计算每个窗口w内中心像素到其他像素之间的距离，作为权重；C是一个归一化系数

        在去噪情况下，平均像素是一种减少由噪声引起的振荡的方法，分辨率参数h的值取决于噪声的标准偏差。相反，在我们的例子中，h的值应该趋于零，因为我们不想减少振荡，而是将已知值转移或复制到未知像素。在实际操作中，可以首先用大h来重构大尺度结构，并通过减小h的值来迭代改进搜索。

3.2 色度正则

        ①将图像从RBG域转换到YUV域

        ②在U和V色度通道做3*3的中值滤波，得到U0 V0

        ③将YU0V0重新转换到RGB域

3.3 整体算法流程