二、数字图像处理基本运算

一、图像的像素级运算

点运算

        点运算具有如下特点：1）点运算针对图像中的每一个像素灰度，独立地进行灰度值的改变；2）输出图像中每个像素点的灰度值，仅取决于相应输入像素点的值；3）点运算不改变图像内的空间关系；4）从像素到像素的操作；5）点运算可完全由灰度变换函数或灰度映射表确定。

线性点运算

图1.1 线性点运算示例

        具体一点，对于一整张图像来说：

其中，对于a和b，有以下特点：

图1.2 非线性点运算示例

映射表点运算

        这种运算意思很明了，就是一对一映射。实际上，上述的线性和非线性点运算到最后也可以看成是映射表点运算。

图1.3 映射表点运算示例

代数运算

加法

        加法运算的定义：

主要应用有去除“叠加性”噪音、生成图像叠加效果等。

        1）去除“叠加性”噪音。对于原图像f(x,y)，有一个噪音图像集：，其中：，M个图像的均值定义为：，当噪音为互不相关，且均值为0时，上述图像均值（即）将降低噪音的影响。通过这个事实，可以得出一个定理：对M幅加性噪声图像进行平均，可以使图像的平方信噪比提高M倍。

图1.4 去除“叠加性”噪音的示例

        2）生成图像叠加效果。对于两个图像f(x,y)和h(x,y)的均值有：，这样会得到二次曝光的效果。推广这个公式为：。我们可以得到各种图像合成的效果，也可以用于两张图片的衔接。

图1.5 图像叠加示例

减法

        减法的定义：

主要应用有去除不需要的叠加性图案、检测同一场景两幅图像之间的变化等。

        1）去除不需要的叠加性图案。设：背景图像b(x,y)，前景背景混合图像f(x,y)。则，g(x,y)为去除了背景的图像。电视制作的蓝屏技术就基于此：

图1.6 去除不需要的叠加性图案示例

        2）检测同一场景两幅图像之间的变化。设：时间1的图像为，时间2的图像为。则

图1.7 检测同一场景两幅图像之间的变化示例

乘法

        乘法的定义：

主要应用有图形的局部显示等。

图1.8 用二值蒙板图像与原图像做乘法

除法

逻辑运算

图1.9 二值图像的基本逻辑运算概览

求反

        求反的定义：

其中R为f(x,y)的灰度级。主要应用有获得一个图像的负像、获得一个子图像的补图像等。

图1.9 获得一个图像的负像示例

图1.10 获得一个子图像的补图像示例

异或

        异或运算的定义：

主要应用有获得相交子图像等。

图1.11 获得相交子图像示例

或

与

        与运算的定义：

主要应用有求两个子图像的相交子图等。

图1.12 求两个子图像的相交子图示例

二、图像的空域变换

        在图像空间，对图像的形状、像素值等进行变化、映射等处理。

几何变换

        即改变图像的形状。主要有基本变换和灰度插值。

        几何变换的基本概念：对原始图像，按照需要改变其大小、形状和位置的变化。

        变换的类型：二维平面图像的几何变换、三维图像的几何变换、由三维向二维平面的投影变换等。

二维图像几何变换

        定义：对于原始图像f(x,y)，坐标变换函数

唯一确定了几何变换：

        二维图像几何变换的基本方式有多项式变换、透视变换等。

        1）多项式变换。基本公式：

线性变换——多项式变换中的一阶变换：

使用多项式变换实现二维图像的几何变换即由线性变换确定的图像的平移、缩放、旋转、镜像与错切。

        2）二维数字图像基本几何变换的矩阵计算。

        原始图像与目标图像之间的坐标变换函数为线性函数，这可以通过与之对应的线性矩阵变换来实现。

        齐次坐标表示法——用n+1维向量表示n维向量。设有变换矩阵T，则二维图像的基本几何变换矩阵为：

        二维图像的基本几何变换具有特征：1）变换前图形上的每一点，在变换后的图形上都有一确定的对应点，如原来直线上的中点变换为新直线的中点；2）平行直线变换后仍保持平行，相交直线变换后仍相交；3）变换前直线上的线段比等于变换后对应的线段比。

        变换矩阵T可以分解为2个子矩阵，子矩阵1：，可实现恒等、比例、镜像、旋转和错切变换；子矩阵2：，可实现图像的平移变换（e=0，f=0时无平移作用）。

        a）平移变换（只改变图像位置，不改变图像的大小和形状）。设：

可有：。

图2.1 平移变换示例

        b）水平镜像。

图2.2 水平镜像示例

        c）垂直镜像。

图2.3 垂直镜像示例

        d）缩放变换：x方向缩放c倍，y方向缩放d倍

c，d相等，按比例缩放：

图2.4 按比例缩放示例

c，d不相等，不按比例缩放——几何畸变：

图2.5 几何畸变示例

        e）旋转变换：绕原点旋转度。设：

图2.6 旋转变换示意图

图2.7 旋转变换示例

        旋转变换的注意点：

        i）图像旋转之前，为了避免信息的丢失，一定有平移坐标。具体有如下两种方法：

图2.8 平移坐标方法一

图2.9 平移坐标方法二

        ii）图像旋转之后，会出现许多的空洞点，对这些空洞点必须进行填充处理，否则画面效果不好。这种操作被称之为插值处理。

图2.10 出现空洞点示例

图2.11 插值处理示例

        f）错切变换：图像的错切变换实际上是景物在平面上的非垂直投影效果。

x方向的错切：

y方向的错切：

图2.12 错切变换示例

错切之后，原图像的像素排列方向改变。与旋转不同的是，x方向与y方向独立变化。

        g）伪仿射变换——双线性几何变换：

图2.13 伪仿射变换示意图

伪仿射变换有两个特点：与xy平面上坐标轴平行的直线，变换为平面上的直线；与xy平面上坐标轴不平行的直线，变换为平面上的曲线。

        h）任意变形变换——非线性几何变换。可以有以下两种作用：在二维平面上，实现图像几何形状的任意变换；在二维平面上，校正图像的几何失真。

图2.14 实现图像几何形状的任意变化示例

图2.15 校正图像的几何失真示例

        特征：一般的，原始图像与目标图像之间，存在一一对应的特征点（tiepoints，GCPs）。

图2.16 原始图像与目标图像之间特征点的对应示意图

        模型：一般的，原始图像与目标图像之间的坐标变换函数为非线性函数，需用高阶多项式进行近似描述。例如，三阶多项式变换：

        通过原始图像与目标图像之间多个对应特征点（GCP点），可以确定上述多项式中的未知参数。

        多项式阶数与GCP数量的关系：

        通过多项式变换进行任意变形变换后的误差，通常用均方误差表示：

图2.17 任意变形变换示例

        3）二维图像的透视变换。将一个平面上的点，以投影中心O为基准，投影成另一个平面上的点；可看作为三维物体向二维图像透视投影的特殊形式。

        透视投影：当人们站在玻璃窗内用一只眼睛观看室外的建筑物时，无数条视线与玻璃窗相交，把各交点连接起来的图形即为透视图。

图2.18 透视投影示意图

        透视投影相当于以人的眼睛为投影中心的中心投影，符合人们的视觉形象，富有较强的立体感和真实感。

        随着观看角度的变化，可看到物体的一个或多个侧面；在透视处理上，按照空间直角坐标系的划分，相应的分为单点透视投影、双点透视投影和三点透视投影。

图2.19 单点、双点、三点透视投影示例

        二维图像透视变换函数及其齐次坐标表示为：

与前面关于齐次变换矩阵的描述类似，这里引入第三个子矩阵，实现图像的透视变换。变换式中共有8个独立的参数，可采用图像点对的方式（最少采用4对共8个点即可），进行二维平面图像的透视投影计算。

图2.20 二维平面图像的透视投影计算示例

总结基本几何变换的特征：

        1）坐标空间的变化：范围发生变化；大小发生变化。

        2）像素值的变化：像素值不发生变化——位置改变；像素值发生变化——旋转、缩放、变形变换。

灰度插值

        1）最近邻插值法

        选择最临近点像素灰度值。如图2.21中，点像素的灰度值为原图像中点的像素值。

图2.21 最近邻插值法示例

最近邻插值法的特点有：a）简单快速；b）灰度保真性好；c）误差较大；d）视觉特性较差（容易造成马赛克效应）。

        2）双线性插值法（一阶插值）

        如图2.22中，有

图2.22 双线性插值示意图

最终，由以上四个结果得出。

        双线性插值可以有简化的计算方法。如图2.23中，即有，应用双曲抛物面方程：

归一化坐标值：

最终有：

图2.23 应用双曲抛物面方程简化双线性插值法示例

双曲抛物面的特点：a）计算中较为充分地考虑相邻各点的特征，具有灰度平滑过渡特点；b）一般情况下可得到满意结果；c）具有低通滤波特性，使图像轮廓模糊；d）平滑作用使图像细节退化，尤其在放大时；e）不连续性会产生不希望的结果。

        3）最佳插值函数。在满足Nyquist条件下，从离散信号可恢复连续信号x(t)：

图2.24 sinc函数示意图

        4)高阶插值。如果简化计算，仅取原点周围有限范围函数（如图2.25所示）；

图2.25 简化的sinc函数示意图

并利用三次多项式来近似理论上的最佳插值函数sinc(x):

由此形成常用的三次卷积插值算法，又称三次内插法、两次立方法（Cubic）、CC插值法等。

        三次卷积插值算法特点：a）是满足Nyquist下，最佳重构公式的近似；b）只有图像满足特定的条件，三次卷积插值算法才能获得最佳结果；c）可使待求点的灰度值更好地模拟实际可能值；d）可取得更好的视觉效果；e）三次卷积内插突出的优点是高频信息损失少，可将噪声平滑；f）时，像元均值和标准差信息损失小；g）计算量大为增加。

        5）图像处理中内插方法的选择。内插方法的选择除了考虑图像的显示要求及计算量，还要考虑内插结果对分析的影响。a）当纹理信息为主要信息时，最近邻采样将严重改变原图像的纹理信息；b）当灰度信息为主要信息时，双线性内插及三次卷积内插将减少图像异质性，增加图像同质性，其中，双线性内插方法将使这种变化更为明显。

非几何变换

        即改变图像像素值。主要有模板运算、灰度变换和直方图变换。

        定义：对于原图像，灰度值变换函数唯一确定了非几何变换：，是目标图像。

        非几何变换属于像素值的变换——灰度变换，没有几何位置的改变。

        对于彩色原图像，颜色值变换函数唯一确定了非几何变换：

离散非几何变换的计算

        简单变换——像素值一一对应的映射，如伪彩色变换；复杂变换——同时考虑相邻各点的像素值，通常通过模板运算进行。        

图2.26 复杂变换示例

模板

        1）定义。所谓模板就是一个系数矩阵；模板大小：经常是奇数，如等；模板系数：矩阵的元素。      

        2）模板运算的定义。对于某图像的子图像：

的模板运算公式为：，为加权系数。

灰度变换

        1）定义。

        定义1：对于输入图像f(x,y)，灰度变换T将产生一个输出图像g(x,y)，g(x,y)的每一个像素值，均取决于f(x,y)中对应点的像素值：。

        定义2：对于原图像f(x,y)，灰度值变换函数T(f(x,y))，由于灰度值总是有限个（如0-255），非几何变换可定义为：，其中R，r在0-255之间取值。

        2）实现。定义了输入像素值与输出像素值之间的映射关系，通常通过查表来实现。因此灰度值变换也被称为LUT（Look Up Table）变换。

        3）示例。

        图像求反、对比度拉伸。

        对比度展宽——突出图像中关心的部分。方法：

图2.27 对比度展宽方法示意图

图2.28 对比度展宽示例

        灰度窗——只显示指定灰度级范围内的信息。

        灰度级切片——只保留感兴趣的部分，其余部分置为0.

        灰度级修正——通过记录装置把一景物变成一幅图像时，景物上每一点所反射的光，并不是按同一比例转化成图像上相应点的灰度，靠近光轴的光要比远离光轴的光衰减得少一些；灰度级修正的目的是：使画面中每个关心的细节信息通过灰度级修正之后，变得清晰可见。

图2.29 灰度级修正示例

        线性动态范围调整：作用是进行亮暗限幅。

        图像输入输出的Gamma失真校正：。Gamma失真即灰度变化为非线性、不够顺滑。1）校正图像获取设备（如照相机）对于图像像素亮度相应的非线性；2）校正图像显示设备（如显示器）中输入信号与亮度显示之间的非线性关系；3）校正图像中不同像素值显示时的亮度感觉。

三、基本概念——灰度直方图

        灰度直方图的概念在上一篇文章里说过了，不过当时是网上找的，这里就再说一下刘定生老师上课时提到的，当然内容肯定是大同小异的。

        定义：直方图是用来表达一幅图像灰度级分布情况的统计表。

图3.1 灰度直方图示例

图中，横坐标表示灰度——；纵坐标为某一灰度值的像素个数或称之为出现的频率。

        从概率的观点，灰度出现的频率可看作其出现的概率，这样直方图就对应于概率密度函数，而概率分布函数就是直方图的累积和，即概率密度函数的积分，如图3.2所示：

图3.2 概率密度函数与概率分布函数示意图

对于离散图像：

彩色图像的灰度直方图——RGB各分量的直方图分别显示。

图3.3 彩色图像的灰度直方图示例

        直方图的性质。1）所有的空间信息全部丢失；2）每一灰度值对应的像素个数可直接得到；3）任何一幅图像，具有唯一对应的直方图，但任何一个直方图，可能对应多幅图像；4）一幅图像各子区的直方图之和等于该全图的直方图。

        直方图的用途。1）数字化参数。直方图给出了一个简单可见的指示，用来判断一幅图像是否合理地利用了全部被允许地灰度级范围。一般一幅图应该利用全部或几乎全部可能的灰度级，否则等于增加了量化间隔。丢失的信息将不能恢复。2）边界阈值选取。假设某图像的灰度直方图具有二峰性，则表明这个图像的较亮的区域和较暗的区域可以较好地分离，取二峰的中间点为阈值点，可以得到好的二值处理的结果。

四、直方图变换

基本理论

        设连续图像的概率分布为：

        对于离散图像：

        对[0,1]区间内任意r值，按下式变换：

        上述变换式应满足条件：这里的第一个条件保证了图像的灰度级从白到黑的次序不变，第二个条件则保证了映射变换后的像素灰度值在容许的范围内。

图3.4 T(r)的一个示例

        从s到r的反变换为：

因为是单调增加的，由数学分析可知，它的反函数也是单调函数。即反变换同样满足上述两个条件。

        由概率论知，若和变换函数已知，是单调增长函数，则变换后的图像灰度级的概率密度函数如下所示：

        直方图变换技术正是通过选择变换函数，使目标图像的直方图具有期望的形状。

直方图均衡

        直方图均衡方法的基本思想是使目标图像的直方图具有平直的直方图，从而改变图像整体偏暗或整体偏亮、灰度层次不丰富的情况。

        直观概念是对在图像中像素个数多的灰度级进行展宽，而对像素个数少的灰度级进行缩减，从而达到清晰图像的目的。

        基本方法是通过灰度的概率密度函数，求出灰度变换函数，建立等值像素出现的次数与结果图像像素值之间的关系。

        形成一种自动调节图像对比度质量的方法。

直方图均衡化过程分析

        设r和s分别表示原图像灰度级和经直方图均衡化后的图像灰度级。为便于讨论，对r和s进行归一化，使：。

        对于一幅给定的图像，归一化后灰度级分布在范围内。对[0, 1]区间内的任一个r值进行如下变换：

该变换式应满足条件：

直方图均衡化算法

        从s到r的反变换用下式表示：

r的概率密度为，s的概率密度可由求出：

假定变换函数为：

式中：是积分变量，而就是r的累积分布函数。对式中的r求导，则：

再把结果代入前面公式，可有：

由此可见，变换后变量s在其定义域内的概率密度是均匀分布的。因此，用r的累积分布函数作为变换函数，可产生一幅灰度级分布具有均匀概率密度的图像，其结果扩展了像素取值的动态范围。

图3.5 用累积分布函数作为变换函数的示例

        从数学角度，直方图均衡化处理是以累积分布函数变换法为基础的直方图修正法。

离散形式的直方图均衡化

        设一幅图像的像元数为n，共有个灰度级，代表灰度级为的像元的数目，则第个灰度级出现的概率可表示为：

变换函数T(r)可改写为：

均衡化后各像素的灰度值可直接由原图像的直方图算出。

算法

设f、g分别为原图像和处理后的图像。

        1）求出原图f的灰度直方图，设为h。h为一个256维的向量。

        2）求出图像f的总体像素个数：；计算每个灰度的像素个数在整个图像中所占的百分比：。

        3）计算图像各灰度的累积分布：。

图3.6 计算 示例

        4）求出新图像g的灰度值：

图3.7 求出新图像示例