数字图像处理学习
数字图像处理学习
一、数字图像基础（概念题、填空题）
图像数字化
数字图像：是将一幅画面在空间上分割成离散的点（或像元），各点（或像元）的灰度值经量化用离散的整数来表示，形成计算机能处理的形式
图像数字化：将模拟图像经过离散化之后，得到用数字表示的图像。图像的数字化包括取样和量化两个过程。
取样：是将在空间上连续的图像转换成离散的采样点（即像素）集的操作。即：空间坐标的离散化。确定了图像的空间分辨率
量化：把取样后所得的各像素的灰度值从模拟量到离散量的转换称为图像灰度的量化。即：灰度的离散化。
数字图像的性质在很大程度上取决于取样和量化中所用的样本数、灰度级
动态范围：灰度的值域，系统中能表示的最低和最高灰度级，上限取决于饱和度，下限取决于噪声。
对比度：最高与最低灰度的差
空间分辨率：图像空间中可分辨的最小细节。空间分辨率的度量必须针对空间单位来规定才有意义。空间分辨率越高，图像质量越好；空间分辨率越低，图像质量越差，会出现棋盘模式。
灰度分辨率：图像灰度级中可分辨的最小变化。灰度分辨率越高，图像质量越好；灰度分辨率越低，图像质量越差，会出现虚假轮廓。
图像有空间分辨率（M*N）和灰度分辨率L。
图像质量一般随M, N, L的增加而增加。
对具有大量细节的图像只需很少的灰度级数L就可较好地表示
数字图像表示形式和特点
四连通：是指对应像素位置的上、下、左、右，是紧邻的位置。
八连通：是指对应位置的上、下、左、右、左上、右上、左下、右下，是紧邻的位置和斜向相邻的位置。
邻接：相邻的像素
连通：从具有坐标(x, y)的象素p到具有坐标(s, t)的象素q的一条通路
邻接是连通的一种特例，连通是由一系列依次邻接的象素组成
连通分量：S是图像中的一个子集，对S中任何一个像素p，连通到该像素的像素集称为S的连通分量。
区域：如果S仅有一个连通分量，则称为连通集，也称作一个区域
边界：一个区域的边界，是该区域中至少有一个背景邻点的像素集
二、灰度变换与空间滤波
基本灰度变换
图象求反：s = L - 1 - r
适用于增强嵌入图像暗色区域中的白色或灰色细节
对数变换：s = c*log(1+r)
指数变换（伽马变换）：s = c r^γ
线性变换：
对比度拉伸
灰度级切分
直方图处理：直方图均衡
前提
使图形均匀灰度密度，从而提出直方图均衡算法
计算过程、算法
均衡化：
①查看灰度级r以及其概率s
②验证：计算累计概率最后为1
③计算变换后灰度级r2：int(n-1)*s
④计算新概率
物理意义
①不改变灰度出现的次数，所改变的是出现次数所对应的灰度级。由此不改变图像的信息结构，力图使等长区间内出现的像素数接近相等
②直方图均衡化实质上是减少图像的灰度级以换取对比度加大。在均衡过程中，原来的直方图上频数较小的灰度级被归并为很少几个或一个灰度级内
直方图均衡VS直方图匹配
直方图均衡：
①自动增强
②效果不易控制
③总得到全图增强的结果
直方图匹配：
①有选择地增强
②须给定需要的直方图
③可特定增强的结果
空间滤波——平滑、锐化
平滑作用效果
除噪声，使图像模糊
方法：
①平滑滤波器：局部平均法
局部平均法是用某象素邻域内的各点灰度的平均值来代替该象素原来的灰度值。
统计排序滤波器
②统计排序滤波器：中值滤波
◼ 用局部邻域（窗口）里的中值来代替上述局部平均法中的局部平均值。即将以该点为中心的某个窗口框住的各象素的中间值作为处理后图象中该点象素的值。
排序取中值
其他统计排序滤波器：③最大值滤波器，④最小值滤波器
锐化效果
图象锐化针对常见的图像模糊、边缘不清晰所采取的处理方法，它能加强图象的轮廓，使图象看起来比较清楚。
目的
突出灰度的过渡部分
锐化算子
梯度算子：突出边缘
①Roberts算子：减一行一列
②Sobel算子
③Prewitt算子
④Kirsch算子
拉普拉斯算子：突出细节
步骤：
①原图像A
②原图像进行拉普拉斯操作后得到图像B
③A+B求和后得图像C
④Sobel梯度处理锐化得图像D
⑤对梯度图像D进行平滑操作得到图像E
⑥平滑图像E与拉普拉斯图像C相乘得图像F
⑦原图像A与图像F求和得图像G
⑧对图像G应于幂律变换得图像H
图像锐化与图像平滑有何区别与联系
图象锐化是用于增强边缘，导致高频分量增强，会使图象清晰
图象平滑用于去噪，对图象高频分量即图象边缘会有影响
都属于图象增强，改善图象效果
三、频率域滤波（重难点）
离散傅立叶变换(DFT)（反变换）
傅里叶级数（FS）
◼ 任何周期函数都可以表示为不同频率的正弦或余弦之和的形式， 每个正弦项和余弦项都乘以不同的系数
傅里叶变换（FT）
◼ 任何非周期函数（其曲线下的面积是有限的，即绝对可积）可以表示为正弦和/或余弦乘以加权函数的积分来表示
傅里叶反变换
怎么看傅里叶频谱图？
10个性质（理解）
1. 平移性质
公式(1)表明将f(x,y)与一个指数项相乘就相当于把其变换后的频域中心移动到新的位置
公式(2)表明将F(u,v)与一个指数项相乘就相当于把其变换后的空域中心移动到新的位置
公式(2)表明对f(x,y)的平移不影响其傅里叶变换的幅值
2. 周期性和共轭对称性
3. 旋转不变性
4. 尺度变换（缩放）
5. 奇偶性
6. 可分离性
7. 比例性
8. 线性
9. 平均值
10. 卷积
例题
考试写法：
原理写法：
基本频率滤波器
频率（平滑）滤波器
①理想低通滤波器
②Butterworth低通滤波器
③高斯低通滤波器
理想低通滤波器的截止频率选择不恰当时，会有很强的振铃效应
详情参考：数字图像处理复习资料2022
频率（锐化）滤波器
①理想高通滤波器
②Butterworth高通滤波器
③高斯高通滤波器
④拉普拉斯滤波器
⑤同态滤波器
四、图像复原与重建
图像退化/复原过程的模型
• f(x,y)表示一幅输入图像
• g(x,y)是f(x,y)产生的一幅退化图像
• H表示退化函数
• η(x,y)表示外加噪声
噪声模型（记，什么样的噪声适合什么样的滤波器？）
• 高斯噪声
• 瑞利噪声
• 伽马（爱尔兰）噪声
• 指数分布噪声
• 均匀分布噪声
• 脉冲噪声（椒盐噪声）
空间域滤波复原（只存在噪声的复原）性质
• 均值滤波器
算术均值滤波器：在模糊了结果的同时减少了噪声
几何均值滤波器：丢失更少的图像细节
谐波均值滤波器：不适用于“椒”噪声，善于处理高斯噪声等“盐”噪声
逆谐波均值滤波器：正数消除“胡椒”噪声；负数消除“盐”噪声，不能同时消除“椒盐”噪声；Q=0时，算术均值滤波器；Q=-1时，谐波均值滤波器
• 顺序统计滤波器
中值滤波器：模糊少，对单极或双极脉冲噪声非常有效
最大值滤波器：用于发现图像中的最亮点，可以有效过滤“胡椒”噪声
最小值滤波器：用于发现图像中的最暗点，可以有效过滤“盐”噪声
中点滤波器：结合了顺序统计和求平均，对于高斯和均匀随机分布
修正后的阿尔法均值滤波器：
当d=0，退变为算术均值滤波器
当d=(mn-1)/2，退变为中值滤波器
当d取其它值时，适用于包括多种噪声的情况下，例如高斯噪声和椒盐噪声混合的情况
• 自适应滤波器
自适应局部噪声消除滤波器：
自适应中值滤波器：可以处理具有更大概率的冲激噪声，可以在平滑非冲激噪声时保存细节
频率域滤波复原（削减周期噪声）性质
• 带阻滤波器：阻止一定频率范围内的信号通过而允许其它频率范围内的信号通过，消除或衰减傅里叶变换原点处的频段
①理想带阻滤波器
②巴特沃思带阻滤波器
③高斯带阻滤波器
• 带通滤波器：允许一定频率范围内的信号通过而阻止其它频率范围内的信号通过
• 陷波滤波器：阻止或通过事先定义的中心频率邻域内的频率
• 最佳陷波滤波器
线性位置不变的退化
图像复原过程：
①找退化原因
②建立退化模型
③反向推演
④恢复图像
采用线性位移不变系统模型的原由：
①由于许多种退化都可以用线性位移不变模型来近似，这样线性系统中的许多数学工具如线性代数，能用于求解图像复原问题，从而使运算方法简捷和快速。
②当退化不太严重时，一般用线性位移不变系统模型来复原图像，在很多应用中有较好的复原结果，且计算大为简化。
③尽管实际非线性和位移可变的情况能更加准确而普遍地反映图像复原问题的本质，但在数学上求解困难。只有在要求很精确的情况下才用位移可变的模型去求解，其求解也常以位移不变的解法为基础加以修改而成。
估计退化函数
①观察法：1)寻找简单结构的子图像；2) 寻找受噪声影响下的子图像
②试验法：使用和被退化图像设备相似的装置，并得到一个脉冲的冲激响应，可以进行较准确
的退化估计
③数学建模法：使用和被退化图像设备相似的装置，并得到一个脉冲的冲激响应，可以进行较准确的退化估计
逆滤波
已获得退化函数后，用退化函数除退化图像的傅里叶变换计算原始图像傅里叶变换的估计
缺点：逆滤波时，为什么在图像存在噪声时，不能采用全滤波
噪声作用大时，逆滤波无法从噪声中提取图像
即使知道退化函数H，也不能准确的复原未退化的图像
如果退化函数是0或者是很小的值，噪声N容易被放大
当退化函数的噪声较小，即轻度噪声时，采用逆滤波恢复的方式可以获得较好的结果
要求信噪比高
维纳滤波
• 综合了退化函数和噪声统计特征进行复原处理的方法
• 方法建立在图像和噪声都是随机变量的基础上，目标是找到未污染图像（原始图像）f和一个估计值，使它们之间的均方误差最小
采用拉格朗日乘数法，在有噪声条件下，从退化图像g复原出f的估计值
||g-Hf||=n
前提：
已知未退化图像和噪声的功率
逆滤波和维纳滤波算法简单，使用灵活，有较高的使用精度。
在带有噪声干扰的情况下，逆滤波的效果随着噪声的方差值的变大而变小，维纳滤波同样结果，同时恢复结果都带有不同程度的振铃效应。但维纳滤波的效果要比逆滤波的效果好，且随着噪声的加强对比效果变得更明显。改变K值可以改善逆滤波但不及维纳滤波的效果好。
逆滤波没有说明怎样处理噪声，维纳滤波综合考虑了退化函数和噪声统计特征
对比最小二乘滤波和维纳滤波
①最小二乘滤波对于高噪声和中等噪声处理的结果稍好一些
②对于低噪声，两种滤波结果基本相等
③当手工选择参数以取得更好的视觉效果时候，最小二乘滤波可能更好，因为参数γ是一个标量，K值是两个未知频率域函数的近似比，该比值很少是常数
看星星模糊
①利用平均值法去除图像噪声
②获取一幅单一明亮的星星的模糊图像去模拟脉冲（在望远镜视野里，星星越小越好，更接近的模拟教材中的脉冲）
③对该幅图像进行傅里叶变换可以得到H
④使用变量K和维纳滤波直到获取较尖锐的图像）
五、彩色图像处理（填空）
基本概念
颜色的物理特征：亮度(Intensity)、色调(Hue)、饱和度(Saturation)
形成任何特殊颜色的红、绿、蓝的数量称为三色值
◼ 面向硬件的RGB（红、绿、蓝）模型，用于彩色摄像机
◼ CMY（青、粉红、黄）模型和CMYK（青、粉红、黄、黑）模型，用于彩色打印机
◼ HSI（色调、饱和度、亮度）模型，更符合人描述和解释颜色的方式
◼ 彩色相机的YUV模型
HSI彩色模型中的色调和饱和度：黑点是一个任意彩色点。与红轴的夹角给出了色调，
向量的长度是饱和度。这些平面中的所有彩色的强度由垂直强度轴上的平面的位置给出
稳定色：降序排列的216种稳定色
伪彩色图像处理：对灰度值赋以颜色的处理
真彩色图像处理：三幅分量图象的组合体/每个象素看作具有三个属性值
伪彩色增强与假彩色增强的异同点
伪彩色增强是对一幅灰度图象经过三种变换得到三幅图象，进行彩色合成得到一幅彩色
图像；假彩色增强则是对一幅彩色图像进行处理得到与原图象不同的彩色图像；主要差异
在于处理对象不同
色调变换通常需要交互选择，试验性调整图像亮度和对比度，在合适的范围提供更多的细节，彩色本身不改变。
在调整一幅图像的彩色分量时，要意识到每个操作都会影响到图像的全部彩色平衡
基于彩色的图像分割
◼ HSI彩色空间的分割
◼ RGB向量空间中的分割
◼ 彩色边缘检测
图像分割是把图像分成各具特性的区域并提取出感兴趣目标的技术和过程
彩色图像中的噪声
噪声图像的色调与饱和度分量明显降质了，这分别是由转换函数中求余弦与取最小值操作的非线性造成的
色调：转换函数中求余弦
饱和度：取最小值操作的非线性
压缩是减少或消除冗余和不相干数据的处理。
六、图像压缩 （重点）
数据冗余的类型：
①编码冗余：使用了多于实际需要的编码符号
②像素间冗余：给定像素的值根据与这个像素相邻的像素进行预测
③心理视觉冗余：有些信息在视觉过程中与另外一些信息相比并不那么重要
图像压缩模型
➢信源编码：完成原始数据的编码与压缩。
➢信道编码：为了抗干扰，增加一些容错、校验位，实际上是有规律地增加传输数据的冗余，以便于消除传输过程中加入的随机信号。
➢信道：传送数据（信息）的手段
• 信源编码器：减少或消除输入图像中的编码冗余、像素间冗余及心理视觉冗余
• 转换器：减少像素间冗余
• 量化器：减少心理视觉冗余，该步操作是不可逆的
• 符号编码器：减少编码冗余
• 符号解码器：进行符号编码的逆操作
• 反向转换器：进行转换器的逆操作
基本编码定理
编码的平均码字长：L
信源的熵：H
采用自然编码时的码长：m
熵编码
对出现概率较大的符号取较短的码长，而对出现概率较小的符号取较大的码长
霍夫曼编码
自下而上：排序
码字不同（不唯一），而码字长和平均码字长不会改变，它也是唯一可解码的。但其缺点是信源缩减过程复杂，运算量大
算术编码
香农－费诺编码
从上到下：排序+递归
有损编码的分类（概念、有哪些）
有损预测编码：直接对像素在图像空间进行操作,称为空域方法
①有损预测编码系统
②最优预测器
③最优量化
变换编码：基于图像变换的编码方法，称为频域方法。用可逆的线性变换（如傅里叶变换）将图像映射成1组变换系数，然后将这些系数量化和编码
①变换编码系统
②变换选择
③子图像尺寸选择
④比特分配
七、图像分割
点、线和边缘检测算子
点的检测应以二阶导数为基础，即使用拉普拉斯算子
对于线检测，二阶导数将导致更强的响应，产生比一阶导数更细的线。我们可以使用拉普拉斯模板，但要处理双线效应
边缘检测是基于灰度突变来分割图像的常用方法
一阶导数的幅度可用于检测图像中的某个点处是否存在一个边缘
二阶导数的符号用于确定一个边缘像素是位于该边缘的暗侧还是位于该边缘的亮侧
梯度算子
Marr-Hildreth边缘检测器（马尔算子）
Canny边缘检测算法的基本步骤总结如下：
◼ （1）用一个高斯滤波器平滑输入图像
◼ （2）计算梯度幅值图像和角度图像
◼ （3）对梯度幅值图像应用非最大抑制
◼ （4）用双阈值处理和连接分析来检测并连接边缘
梯度法与 Laplacian 算子检测边缘的异同点
梯度算子是利用阶跃边缘灰度变化的一阶导数特性，认为极大值点对应于边缘点；而Laplacian 算子检测边缘是利用阶跃边缘灰度变化的二阶导数特性，认为边缘点是零交叉点。
相同点都能用于检测边缘，且都对噪声敏感
详情参考：数字图像处理复习资料2022
边缘连接
局部处理法：比较梯度算子的响应强度和梯度方向
Hough变换法：xy平面上任意一点，对应在ab平面参数有一条直线
阈值处理
阈值处理直观、实现简单且计算速度快，因此图像阈值处理在图像分割应用中处于核心地位
当物体和背景像素的灰度分布十分明显时，可以用适用于整个图像的单个（全局）阈值
大于谷底取1，小于谷底去0
不考虑空间上的关系
八、图像描述子
边界描绘子
边界上像素的数量；两个方向上以单位间距定义的链码曲线；垂直分量和水平分量（长轴与短轴）的数量加上对角分量的 2倍。
傅里叶描述子
复数形式来表示边界上每个点的坐标
纹理描述子
纹理用来辨识图像中不同区域
图像纹理：某种局部序列性不断重复、非随机排列、纹理区域内大致为均匀的统一体
描述区域平滑度、粗糙度和规律性
方法：
①统计法：灰度分布，生成平滑、粗糙、粒状的纹理特征
②结构法：几何关系规则排列，处理图像像元的排列
③频谱法：根据傅里叶频谱的分布描述纹理的全局周期性质，傅里叶频谱能量或频谱熵检测图像中的全局周期性
参考资料
数字图像处理期末考试大题讲解_Bilibili
数字图像处理_武汉理工大学_MOOC
数字图像处理复习资料2022