基于神经网络彩色图像插值研究-附Matlab程序

✳️ 一、引言

彩色图像插值是通过估算相邻像素来估计缺失的颜色分量的过程，数字相机通过色彩过滤阵列( Color Filter Array，CFA)生成全彩图像。为了降低数字相机拍摄彩色图像的成本，通常用单电荷耦合器(CCD)来代替三电荷耦合器。由于CFA是由光谱选择滤波器按照某种模式排列组成的，所以每个像素传感器仅对于基色分量中的一个颜色分量敏感。由数字相机拍摄的彩色图像由CFA编码形成，通过插值操作产生全色彩图像。

Bayer型CFA最为常用，由于在每个像素点只可获得一种颜色分量，故另外两个缺失的彩色元素必须从相邻像素中估计得到。 Beyer型CFA中1/2的像素为绿色通道(G)，另外1/2像素被分为红色®与蓝色(B)通道。

✳️ 二、色彩过滤阵列CFA

CFA是指彩色滤镜阵列，如图1所示。因为CCD图像传感器得到数字化影像是单色的，只有灰度变化，为了获得彩色影像，必须在单色传感器上覆盖上层聚酞亚胺掩膜的彩色滤镜阵列。彩色滤镜阵列的作用就是让每个像素只感受单颜色(频率范围)的光线到达传感器，阻挡其它颜色的光线，最终重新组合出彩色的图像。

图1 彩色滤波阵列示意图[1]

滤镜阵列一般为棋盘格式，如图2所示，其中R、G、B分别表示透红色、透绿色和透蓝色的滤镜阵列单元。CFA阵列结构有许多种，它们不同的地方是RGB排列方式和各个颜色成分所占的比例不同，其中原色CCD所用的CFA中最流行的是被称为 Bayer(贝尔)模式的彩色滤镜阵列。

原色RGB贝尔模板主要特征为间隔的方式放置红、绿、蓝色的滤镜，且绿色滤镜的数量为红色(或蓝色)的两倍，如图2所示。因为人眼对绿色光波要比红蓝两色敏感，所以这样的数量分配使得人眼所见的图像亮度适宜，更接近真实色彩。

图2 贝尔CFA模板[1]

✳️ 三、BP网络结构

反向传播算法又称误差后向传播算法( Error Back Propagation Algorithm),它是用来训练多层前馈网络的一种学习算法，是一种有监督的学习算法。通常称用误差反向传播算法训练的网络叫BP网络如图3所示，该BP网络具有一个输入层，两个隐含层(也称中间层)和一个输出层组成，各层之间实行全连接。BP神经网络的隐含层通常具有多个，其传输函数常常采用 sigmoid 函数，而输入输出层则采用线性传输函数。

图3 一个典型的多层BP网络

误差反向传播算法的主要思想是把学习过程分为两个阶段：第一阶段(正向传播过程)，给出输入信息通过输入层经隐含层逐层处理并计算每个单元的实际输出值；第二阶段(反向传播过程)，若在输出层未能得到期望的输出值，则逐层递归地计算实际输出与期望输出之差值(即误差)，以便根据此误差调节权值。误差反向传播算法的性能函数是均方误差。其算法流程如图4所示

图4 BP算法流程图[1]

✳️ 四、神经网络彩色图像插值实验验证

现有一彩色图像，如图5(a)所示。通过神经网络插值后恢复得到的彩色图像如图5(b)所示。两者之间的误差图像如图5©所示。

图5 神经网络彩色图像插值结果

✳️ 五、参考文献

[1] 赵建刚. Bayer图像无损压缩技术及边缘检测算法研究 [D]; 太原理工大学, 2008.
[2] R. K. Thakur, A. Tripathy and A. K. Ray. 2009. A Design Framework of Digital Camera Images Using Edge Adaptive and Directionally Weighted Color Interpolation Algorithm, IEEE Trans. Image Proc., 1, 905-909.

✳️ 六、Matlab程序获取与验证

上述演示实例由Matlab代码实现，获取该Matlab代码前开展针对性验证实验，请私信博主。

---

博主简介：研究方向涉及智能图像处理、深度学习、卷积神经网络等领域，先后发表过多篇SCI论文，在科研方面经验丰富。任何与算法、程序、科研方面的问题，均可私信交流讨论。

---