数字图像处理知识点总结（中）图像增强复习

授课教师：Yuwei Wu 武玉伟
https://sites.google.com/site/wuyuweibit/
图像增强（image enhancement）是指将不清晰的图像变得清晰， 强调某些关注的特征而抑制非关注的特征，以改善图像质量、丰富图像信息量、加强图像判读和识别效果的图像处理方法。图像增强的目标是改善图象的视觉效果。
图像增强包括空域图像增强和频域图像增强。

• 空域图像增强基于图像的像素空间，对图像的像素直接进行处理。
• 频域图像增强基于图像的频域空间，利用图像变换方法实现空域与频域的正反变换，并利用频域空间的特有性质对图像进行处理。

空域处理

空域图像增强的基本原理如下式所示：$$g(x,y)=E(f(x,y))$$
式中：f(x,y)为原始图像；g(x,y)为增强图像；E()为增强函数，定义在像素点(x,y)的某个邻域上。

变换增强

空域变换增强也称为点操作，主要以单个像素为基础对图像进行增强，增强函数E()定义在像素点(x,y)上。
由于点可以看作是尺度为1×1的邻域，因此，点操作可以看作是模板操作的特例。
空域变换增强技术通常包括几何变换、算术运算、逻辑运算、灰度变换和直方图处理。

几何变换

将图像的几何信息进行变换来获取新图像的变换方法，包括平移变换、缩放变换、旋转变换、镜像变换、剪切变换、透视变换等。
二维图像和三维图像的几何变换原理基本相同，本节主要基于二维图像几何变换的原理进行介绍。
变换矩阵（Transformation matrix）。最为常用的几何变换都是线性变换，这包括旋转、缩放、切变等。在二维空间中，线性变换可以用2×2的变换矩阵表示。

齐次表示问题
齐次坐标是指把一个n维向量用一个n+1维向量来表示。
设空间中一个点的笛卡尔坐标为(x,y)，则其对应的齐次坐标为(Hx,Hy,H)；当H=1时，坐标(x,y,1)称为坐标(x,y)对应的规范化齐次坐标。
齐次坐标的表示方式是不唯一的，引入齐次坐标的主要目的是合并矩阵运算中的乘法和加法，它提供了一种利用矩阵运算把二维、三维甚至高维空间中的一个点集从一个坐标系变换到另一个坐标系的有效方法。

缩放变换

也称尺度变换，指将图像在某方向按比例缩放来获取新图像的变换方法

设空间中一个点的笛卡尔坐标为(x,y,)，基于放缩向量(Sx, Sy)将其放缩到新的坐标(x’,y’)，则放缩变换公式可表示为
$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]=\left[\begin{array}{c}{s}_{x}0\\ 0s_y\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]$$
需要注意的是，当放缩系数不为整数时，原始图像中某些像素放缩后的坐标可能不为整数，导致变换后的图像中出现**“孔洞”现象**，此时，需要经过取整或插值等操作来进行失真校正。

剪切变换

也称为错切变换，刻画了类似四边形不稳定性的性质，包括水平剪切和垂直剪切。

• 水平剪切指将图像一条水平边固定，并沿水平方向拉长图像来获取新图像的变换方法。

垂直方向的平移始终为0
Y=0时，水平平移为0
Y=1时，水平平移为a
$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]=\left[\begin{array}{c}1a\\ 01\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]$$

• 垂直剪切指将图像一条垂直边固定，并沿垂直方向拉长图像来获取新图像的变换方法。
  $$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]=\left[\begin{array}{c}01\\ 1a\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]$$

旋转变换

是一种刚体变换（Rigid-Body Transformation），指将图像以某点为轴进行旋转来获取新图像的变换方法。

首先考虑2D平面上一个点绕原点的旋转。设平面上一个点的笛卡尔坐标为(x0,y0)，将该点绕原点O顺时针旋转角度a后到达新的坐标(x1,y1)，。其中，r为该点到原点O的距离；b为旋转前r与x轴之间的夹角。

$$\begin{gathered} 旋转前：x0=rcosb，y0=rsinb \\ 旋转后：x1=rcos(b-a)=rcosbcosa+rsinbsina=x0cosa+y0sina \\ y1=rsin(b-a)=rsinbcosa-rcosbsina=-x0sina+y0cosa \end{gathered}$$

$$以矩阵的形式表示为：\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]=\left[\begin{array}{c}cosasina\\ -sinacosa\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]$$

齐次形式

绕任意点旋转：

齐次化：（x,y)->(x y 1)从等式由右向左，先平移，再旋转，再平移

通过上面几种变换可以看出几何变换的本质是矩阵运算

平移变换

  一种刚体变换（Rigid-Body Transformation），指将图像沿某方向平移来获取新图像的变换方法。

平移变换的矩阵形式

镜像变换

一种刚体变换（Rigid-Body Transformation），包括水平镜像和垂直镜像。

水平镜像指将图像左半部分和右半部分以图像垂直中轴线为中心进行镜像对换来获取新图像的变换方法。设空间中一个点的笛卡尔坐标为(x,y)，将其水平镜像到新的坐标(x’,y’)，则水平镜像变换公式可表示为
垂直镜像指将图像上半部分和下半部分以图像水平中轴线为中心进行镜像对换来获取新图像的变换方法。设空间中一个点的笛卡尔坐标为(x,y) ，将其垂直镜像到新的坐标(x’,y’) ，则垂直镜像变换公式可表示为

投影变换

几何变换的反变换

指执行与对应几何变换相反操作的变换。许多几何变换都有对应的反变换:
平移变换的反变换;
放缩变换的反变换;
旋转变换的反变换;
镜像变换的反变换;
剪切变换的反变换

复合变换

几何失真校正

几何失真：
指图像在获取或显示过程中产生的畸变，也称几何畸变。例如，使用长焦镜头或使用变焦镜头的长焦端时容易产生枕形失真（Pincushion Distortion），使用广角镜头或使用变焦镜头的广角端时容易产生桶形失真（Barrel Distortion），使用广角镜头还容易产生透视失真（Perspective Distortion）等

几何失真校正是指将存在几何失真的畸变图像校正成为无几何失真的原始图像，通常以一幅基准图像或一组基准点为基准去矫正畸变图像。基准图像通常由没有畸变或畸变较小的摄像系统获得，畸变图像通常由畸变较大的摄像系统获得。
几何失真校正的校正方法包括直接法和间接法。校正步骤包括空间变换和灰度插值。

• 校正方法

1. 直接矫正法也称为向前映射法，它首先由空间变换函数h1(x,y)、h2(x,y)推导出反变换函数h1’(x’,y’)、h2’(x’,y’)，然后依次计算出每一个畸变图像像素坐标(x’,y’)对应的校正坐标(x,y)；但(x,y)一般不为整数，无法直接将畸变坐标(x’,y’)处的灰度值赋值给校正坐标(x,y)，而是将(x’,y’)处的灰度值分配给校正坐标(x,y)周围的四个像素，据此获得校正图像。
   
2. 间接矫正法也称为向后映射法，它假设经过校正的图像像素坐标在基准坐标系统中为等距网格的交叉点，从网格交叉点的坐标(x,y)出发计算出畸变图像上的对应坐标(x’,y’)；但(x’,y’)一般不为整数，无法直接将畸变坐标(x’,y’)处的灰度值赋值给校正坐标(x,y) ，而是将(x’,y’)周围像素的灰度值进行插值以得到校正坐标(x,y)处的灰度值，据此获得校正图像。
   

• 校正步骤

1. 空间变换是指对畸变图像像素坐标位置进行重新排列以恢复原始图像像素坐标位置的空间关系
   

式中：(x,y)为无失真坐标系中像素的坐标；(x’,y’)为失真坐标系中像素的坐标；h1(x,y)、h2(x,y)为无失真坐标系向失真坐标系变换的空间变换函数；aij、bij为拟合多项式的各项待定系数；N为拟合多项式的次数。
当N=1时，空间变换函数为线性拟合，可粗略地近似几何畸变，如式(1)所示；
当N=2时，空间变换函数为二次拟合，可较精确地近似几何畸变，如式(2)所示
当N>3时，空间变换函数为高阶拟合。一般地，二次或高阶拟合被用来补偿由实际图像系统造成的空间失真。
为了求解方程组，可根据待定系数的个数确定基准图像和畸变图像上控制点的对数，这些控制点构成了图像中的一个多边形区域

2. 灰度插值是指对图像映射位置及其周围像素的灰度值进行插值操作以复原原始图像像素的灰度值
基于间接矫正法复原原始图像时，对原始图像中的每一个像素点(x,y)，计算出畸变图像上的对应坐标(x’,y’)，基于(x’,y’)处的灰度值确定原始图像中像素点(x,y)的灰度值。
如果计算出的畸变图像上的对应坐标(x’,y’)为整数，则原始图像对应像素点(x,y)的灰度值与其保持一致；
如果不为整数，则需要进行灰度插值操作。
常用的灰度插值方法包括最近邻插值法和双线性插值法等。
最近邻插值法（Nearest Neighbor Interpolation）也称为零阶插值，是指将距离映射位置最近的像素点的灰度值作为插值结果的方法
设原始图像f(x,y)中某像素点(x,y)经过变换后在畸变图像g(x’,y’)上的映射位置为(x’,y’)，则最近邻插值法如下式所示：

式中：像素点(u’,v’)为距离映射位置(x’,y’)最近的像素点，即u’、v’满足下式条件：

双线性插值法（Bilinear Interpolation）是指将映射位置周围四个像素点的灰度值在水平和垂直两个方向上进行插值以获取插值结果的方法，其原理图如下图所示。

算术运算

算术运算一般用于灰度图像，指将两个像素的灰度值通过算术操作得到一个新的灰度值，作为对应结果新图像同位置处像素的灰度值。
新的灰度值可能超出原图像的动态范围，此时，通常需要进行灰度映射。灰度映射将运算结果的灰度值限制或调整到原图像允许的动态范围内。

加

指将两幅原始图像对应位置处两个像素的灰度值相加得到一个新的灰度值，作为结果图像对应位置处像素的灰度值。设两个像素为p和q，则加法运算可表示为：
$$f(p)+f(q)$$
式中：f(x)为像素x的灰度值。
注意：由于图像像素的灰度值范围为[0,255]，因此，相加结果如果大于255，则取255。
两幅图像A和B如下图所示，其中，图像A的4个黑圆的圆心对应图像B的黑色正方形的4个顶点，试求A+B的结果。

白 255 黑 0 白＋黑=白 有违常识。。。但灰度级的定义是亮度 不是颜色。。。

加法运算的应用领域广泛，可实现图像融合，增强或减弱图像亮度以及消除噪声等。加法运算实现图像融合与加法运算增强或减弱图像亮度如下图所示。
加法运算可用于图像平均以减少和去除图像采集中混入的噪声。尤其是，经过长距离模拟通信方式传送的图像（如卫星图像）。

减

指将两幅原始图像对应位置处两个像素的灰度值相减得到一个新的灰度值，作为结果图像对应位置处像素的灰度值。设两个像素为p和q，则减法运算可表示为：$$f(p)-f(q)$$
式中：f(x)为像素x的灰度值。
注意：由于图像像素的灰度值范围为[0,255]，因此，相减结果如果小于0，则取0。

黑-白=黑 白-黑=白 白-白=黑
减法运算的应用领域广泛，可实现增强或减弱图像亮度以及运动检测等。减法运算增强或减弱图像亮度如图所示。

图像相减进行运动检测。
两幅图像的差可以用于检测图像变化及突出图像中目标的位置和形状，常用于运动检测。减法与阀值化处理的综合使用通常是建立机器视觉系统的最有效方法之一。

减法运算实现运动检测的效果如图所示，其中，图(a)～©为视频序列中连续的三帧图像，图(d)为第1帧和第2帧的差，亮边缘即运动物体，图(e)为第2帧和第3帧的差，亮边缘即运动物体，图(f)为第1帧和第3帧的差，亮边缘加粗，可见运动物体从左向右运动。加大视频序列中采样图像的帧间差，可以突出目标的运动信息。

乘

指将两幅原始图像对应位置处两个像素的灰度值相乘得到一个新的灰度值，作为结果图像对应位置处像素的灰度值。设两个像素为p和q，则乘法运算可表示为：
$$f(p)\ast f(q)$$
式中：f(x)为像素x的灰度值。
注意：由于图像像素的灰度值范围为[0,255]，因此，相乘结果如果大于255，则取255。
若图像用矩阵表示，则矩阵对应元素相乘。不是矩阵整体相乘
两幅图像A和B如下图所示，其中，图像A的4个黑圆的圆心对应图像B的黑色正方形的4个顶点，试求A×B的结果。

乘法运算的应用领域广泛，可实现增强或减弱图像亮度以及图像掩模等。图像与大于1的常数相乘可以增强亮度，与小于1的常数相乘可以减弱图像的亮度。
乘法运算实现图像增强可维持图像的相关对比度。
图像掩模操作示例。
乘法运算可对两幅图像进行掩模操作，屏蔽掉图像的某些部分。
乘法运算的效果如图所示，其中，图(a)为原始图像；图(b)为二值化的掩模图像，四个白色方块的像素值为1，其余为0；图©为掩模结果。

除

指将两幅原始图像对应位置处两个像素的灰度值相除得到一个新的灰度值，作为结果图像对应位置处像素的灰度值。设两个像素为p和q，则除法运算可表示为：$$f(p)÷f(q)$$
式中：f(x)为像素x的灰度值。
注意：由于图像像素的灰度值范围为[0,255]且为整数，因此，相除结果应保持灰度值范围不变；如果结果为小数，则要进行取整操作。特殊地，如果相除时分子分母均为0，则结果为0；如果仅分母为0，则结果为255
矩阵对应元素相除
两幅图像A和B如下图所示，其中，图像A的4个黑圆的圆心对应图像B的黑色正方形的4个顶点，试求A÷B的结果。
如果图像为灰度图像，则A÷B的结果如图©所示；如果图像为二值图像，则A÷B的结果如图(d)所示。

注：二值图像 0表示黑，1表示白

除法运算的应用领域广泛，可实现增强或减弱图像亮度。

逻辑运算

是指将两幅原始图像对应位置处两个像素的灰度值通过逻辑操作得到一个新的灰度值。参与逻辑运算的两幅图像大小必须相等。
逻辑运算将输入数据看作逻辑值（真或假），输出结果也为逻辑值（真或假）。逻辑运算在判断一个值是真或假时，将0看作假，将非0看作真；因此，逻辑运算的结果为二值图像。
逻辑运算主要包括：与运算（·）、或运算（+）、补运算（￣）和异或运算（⊕）。逻辑运算的运算法则如下表所示。

与

指将两幅原始图像对应位置处两个像素的灰度值通过与操作得到一个新的灰度值，作为结果图像对应位置处像素的灰度值。设两个像素为p和q，则与运算可表示为：
$$f(p)ANDf(q)或f(p)\cdot f(q)$$
矩阵对应位置元素运算
两幅图像A和B如下图所示，其中，图像A的4个黑圆的圆心对应图像B的黑色正方形的4个顶点，试求A·B的结果。

或

或运算是指将两幅原始图像对应位置处两个像素的灰度值通过或操作得到一个新的灰度值，作为结果图像对应位置处像素的灰度值。设两个像素为p和q，则或运算可表示为：
$$f(p)ORf(q)或f(p)+f(q)$$
式中：f(x)为像素x的灰度值。

补

补运算是指将两幅原始图像对应位置处两个像素的灰度值通过补操作得到一个新的灰度值，作为结果图像对应位置处像素的灰度值。设像素为p，则补运算可表示为：

异或

异或运算是指将两幅原始图像对应位置处两个像素的灰度值通过异或操作得到一个新的灰度值，作为结果图像对应位置处像素的灰度值。设两个像素为p和q，则异或运算可表示为：

灰度变换

灰度变换属于空域变换增强技术。

• 目的
  一般成像系统形成图像的亮度有限，对比度不足，使图像的视觉效果差，灰度变换即可有效地改善视觉效果。
• 概念
  灰度变换是一种点操作，根据原始图像中每个像素的灰度值，按照某种映射规则将其转化为另一灰度值。灰度变换可有效改善图像的视觉效果，变换原理可表示为t=E(k)
  k为原始图像的灰度值f(x,y)，t为变换图像的灰度值g(x,y)，E()为灰度增强函数。
  原理：
  灰度变换原理。其中，图(a)为原始图像，具有两种灰度级，分别用B和W来表示；图(b)为灰度增强函数，根据函数的映射规则，原始图像的灰度值B映射为灰度值W，原始图像的灰度值W映射为灰度值B；图©为变换后的图像。
  灰度变换的关键在于根据增强要求设计灰度映射规则，即设计灰度增强函数。灰度增强函数示例如下图所示，其中：
  图(a)将使原始图像中灰度值小于拐点值的像素在变换图像中都取拐点值，其余像素的灰度值保持不变；
  图(b)将原始图像根据灰度值分为3部分，每部分变换后的灰度值都保持原来的次序且扩展为0到L-1，3部分像素的对比度都会增加；
  图©将使原始图像灰度值小于L/2的像素的灰度值变得更小，原始图像灰度值大于L/2的像素的灰度值变得更大，从而增加全图的对比度；
  图(d)将使原始图像灰度值小于L/2的像素的灰度值变得更大，原始图像灰度值大于L/2的像素的灰度值变得更小，从而减小全图的对比度。
  

比例线性变换

• 概念：
  对单波段逐个像素进行处理，将原图像亮度值动态范围按线性关系式扩展到指定范围或整个动态范围。比例线性变换包括正比变换和反比变换。
• 正比变换包括两种情况：直接正比变换和截取式正比变换。
  • 直接正比变换：若原始图像为f(x,y)，变换图像为g(x,y)，最大灰度级为L-1，直接正比变换将实现灰度值范围从[a,b]到[c,d]的线性变换。
    
    直接正比变换示例。一幅8比特灰度图像如图(a)所示，其灰度值范围为[40,204]，试将其灰度值范围映射到[0,255]。
    
    原始图像的灰度值范围为[40,204]，其灰度统计直方图如图(b)所示。直接正比变换的增强函数如图©所示，变换后的图像如图(d)所示，变换图像的灰度统计直方图如图(e)所示。从结果可以看出，变换图像的对比度增强，灰度值范围从[40,204]映射到[0,255]。由于舍入误差的影响，变换图像的灰度值分布不连续，在灰度统计直方图中表现为某些灰度值不存在。
  • 截取式正比变换：若原始图像为f(x,y)，变换图像为g(x,y)，最大灰度级为L-1，则截取式正比变换示意图如图所示，变换关系如式所示，变换将使小于灰度值a和大于灰度值b的像素压缩为c和d，结果将造成部分信息丢失。

截取式正比变换示例。一幅8比特灰度图像如图(a)所示，其灰度值范围为[40,204]，试将其灰度值范围[80,160]映射到[20,220]，灰度值小于80的映射到20，灰度值大于160的映射到220。
原始图像的灰度值范围为[40,204]，其灰度统计直方图如图(b)所示。截取式正比变换的增强函数如图©所示，变换后的图像如图(d)所示，变换图像的灰度统计直方图如图(e)所示。

• 反比变换
  反比变换是图像求反的技术实现基础。
  图像求反是将原图像灰度值翻转，即使黑变白，使白变黑。
  反比变换原理：
  设：原图像为f(x,y)，目标图像为g(x,y)，最大灰度级为L-1，反比变换示意图如图所示。则：反比变换为g(x,y)=-f(x,y)+L-1

一幅8比特灰度图像如图(a)所示，其灰度值范围为[40,204]，试对其进行图像求反。
原始图像的灰度值范围为[40,204]，其灰度统计直方图如图(b)所示。反比变换的增强函数如图©所示，变换后的图像如图(d)所示，变换图像的灰度统计直方图如图(e)所示。从结果可以看出，变换图像实现了图像求反，反映在灰度统计直方图上可见，变换图像的灰度值范围仍然为[40,204]，其灰度统计直方图与原始图像相比正好实现了左右翻转。

分段线性变换

分段线性变换是为了突出感兴趣的目标或亮度值区域，局部扩展亮度值范围，可以有效地利用有限个灰度值，达到最大限度增强图像中有用信息的目的，从而增强图像的对比度。分段线性变换包括对比拉伸和灰度切割。

• 对比拉伸的基本思想是扩展图像的动态范围，增强图像的对比度，是最简单的分段线性变换之一。
  若原始图像为f(x,y)，变换图像为g(x,y)，最大灰度级为L-1，则对比拉伸示意图如图所示，变换关系如下页式子所示，变换将对区间[a,b]进行灰度扩展，对区间[0,a]和[b,L-1]进行灰度压缩。
  

对比拉伸示例。一幅8比特灰度图像如图(a)所示，其灰度值范围为[40,204]，试对其进行对比拉伸。

• 灰度切割
  目的是提高图像中特定灰度范围的亮度。
  灰度切割包含两种基本的方法：
  第1种方法：为范围内的灰度指定一个较高值，其他灰度指定一个较低值。如图(a)所示。
  第2种方法：为范围内的灰度指定一个较高值，其他灰度保持原有的灰度色调。如图(b)所示。
  
  灰度切割示例。一幅8比特灰度图像如图(a)所示，其灰度值范围为[40,204]，试对其进行灰度切割。
  第1种方法：曲线对应的6个点的坐标分别为(0,100)、(100,100)、(100,240)、(140,240)、(140,100)和(255,100)。
  第2种方法：曲线对应的6个点的坐标分别为(0,0)、(100,100)、(100,240)、(140,240)、(140,140)和(255,255)。
  

非线性变换

非线性变换主要利用非线性函数来突出感兴趣的目标或亮度值区域，达到最大限度增强图像中有用信息的目的。非线性变换包括对数变换和幂次变换。

• du

直方图

直方图均衡化

直方图规定化

滤波增强

频域处理