积分图像与卷积图像背景故事杂谈

在数字图像处理领域，特别是目标识别领域，图像积分与卷积已经成为关键的处理步骤与技术手段。 这种手段的引入，对处理速度与目标识别率都产生很好的效果。在教科书中，这种处理技术也是被描述得最为充分的。这篇文章不讨论图像积分与卷积牵涉到的数学推导，仅仅介绍积分与卷积作用于数字图像处理的背景故事。

 

早在上世纪中后期，科学家就开始关注计算机的图形显示技术，不少图像处理工作者几乎是在同一时间想到了
用纹理粘帖到虚拟物体表面来展示逼真显示效果的处理方法。当把这种处理方法扩展到曲面，如球体表面时，
二维纹理经过伸缩变换后粘帖到了虚拟物体表面，显示效果严重失真，产生了‘many things in a small place’的难看效果。进一步的研究发现，在曲率变化大的区域，需要用某种方式抑制被堆积起来的图像灰度。这样，就提出了平均灰度的概念。

 

于是，在那一刻，如何快速获取“平均灰度”就成了研究重点。经过几位科技工作者的接力研究，最终形成了一种处理方法，也即现在常说的“积分图像”，其基本原理是，原始图像上任意一点的灰度定义为图像原点到该点所形成矩形区内各像点灰度之和。

这样定义后，原始图像中任意矩形区的灰度值之和就可以通过简单的加减法获取到，从而也能快速得到平均灰度。这种处理方法与高等数学中的积分概念完全一致，后人因此把其命名为积分图像（integral image）。
基于上面语义性推导，不难发现，积分图像仅仅是数字图像的一种中间表示方式。

 

积分图像最初是用来处理纹理贴图，其与卷积图像的关系又是怎么产生的呢？下面继续说说另一个故事。

真实世界被捕获后形成的数字图像，实际上是像素的有限离散集合。这样的集合，内部展示了什么样的特征，如何用这些特征来识别图像中的目标，等等话题从上世纪末就开始热闹起来。其中的关键性话题是消除无用图像信息，彰显有用信息。

 

“无用图像信息”用专业术语描述就是“图像噪声”，而彰显就是“特征值”提取的过程。

 

去除“噪声”显然地与信号处理学的滤波发生了关联。对于数字图像，用某种平均运算得到的结果替换原始图像中对应的值，其效果等同于降低了该点的“显示地位”，换言之，该点被周围点同化。

 

这样就引出了“平均运算”的运算对象与权重系数的概念。运算对象牵涉到参与平均的对象的个数以及这些对象的空间分布。目前广泛采用的是用3x3矩阵平均方法。也即，当前点加周边8个点共9个点，而当前点位于矩阵的中心。矩阵元素的不同取值体现了对当前点的重要性的不同认识。专业上的描述就是“不同的滤波效果”。而这种处理方式的数学表达就是两个函数的“积的累加”，这是卷积的离散化定义。通过这样处理后产生的图像通常称之为“卷积图像”。

 

在频域展开数字图像处理，实现快速的“卷积”处理过程是另外话题，暂且略过不表。

 

最初的数字图像，经过不断研究、挖据，逐步与数学的基本工具发生了关系。从上面的描述中，还不能看到这种关系的本质性与必然性这一点。到底数字图像处理包含了哪些必然的数学基础？在积分图像，卷积图像概念被提出以后，有专家在更高层面上思考着这样的问题。

前面的叙述，实际上已经引入了一个概念，就是“当前点与周边点的关系与地位”，于是有学者直接从另外的角度对数字图像的处理展开了研究。这就把泰勒级数引入到了图像处理领域。

 

泰勒级数是用函数的多阶导数预测关注点邻近点的函数值。其中的二阶导数项可以表达为ABA形式（前一个A是横矩，后A是列阵，B为矩阵）。

这样一来，寻找数字图像中各离散点间的关系就转换为寻找矩阵的特征值与特征向量的问题，这种关系在图像上的体现就是灰度的变化趋势以及变化的激烈程度。通过目标特征的比对，图像上目标的辨识就转换成了矩阵特征矢量的求解过程。其处理过程繁杂，略过不提。

 

作为背景故事介绍，就到这儿。关于积分图像、卷积图像在此过程中起到的作用，择日再说。