冈萨雷斯《数字图像处理》读书笔记

第1章 绪论

• 什么是数字图像处理
  一副图像可以定义为一个二维函数$f(x,y)$，x和y是平面空间坐标，在任何一对空间坐标$(x,y)$处的幅值$f$称为图像在该点的强度或灰度。当x，y和灰度值f为有限的离散数值时，称该图像为数字图像
• 数字图像处理界定为其输入和输出都是图像的处理、从图像中提取特征的处理、各个目标的识别
• 三种典型的计算处理
  • 低级处理：输入输出都是图像，如降噪、对比度增强、图像锐化
  • 中级处理：以图像为输入但是输出是从图像中提取的特征（如边缘，轮廓、各物体的标识）
  • 高级处理：理解已识别目标的总体。认知功能
• 计算机视觉的最终目标是使用计算机来模拟人的视觉，包括理解并根据视觉输入采取行动等

第2章 数字图像基础

人类视觉系统

• 眼睛上两类光感受器：锥状体和杆状体
  • 锥状体：对颜色高度敏感；亮视觉
  • 杆状体：没有彩色感觉，对低照明度敏感；暗视觉
• 图像的形成：晶状体和视网膜之间距离固定，通过改变晶状体的形状进行正确聚焦，光接收器的相对刺激作用产生感知，把辐射能转变为电脉冲，最后由大脑解码

成像传感器&如何产生数字图像

• 单个成像传感器；条带传感器；阵列传感器
  通过将输入电能和传感器材料组合，把输入能源转变为电压，并把传感器响应数字化，从每一个传感器得到一个数字量

图像取样&灰度量化

• 取样：对坐标值进行数字化
• 量化：对幅值数字化
• 数字图像的质量很大程度上取决于取样和量化中所用的样本数和灰度级
• 对比度：一幅图像中最高和最低灰度级间的灰度差。当图像中像素可感知的数值有高的动态范围时，认为该图像有高的对比度
• 饱和度：超过这个值得灰度级将被剪切掉的这样一个最高值

图像内插

• 内插：用已知数据估计位置位置的数值
• 最近邻内插法：把原图像中最近邻的灰度付给每个新位置
• 双线性内插法：用4个最近邻估计给定位置的灰度
• 双三次内插法
• 内插可用于调整图像大小（收缩和放大）

像素间的基本关系

• 像素p的四邻域$N_4(p)$：4个水平和垂直的相邻像素(x+1,y)
  (x-1,y) (x,y+1) (x,y-1)
• 像素p的对角相邻像素$N_D(p)$：(x+1,y+1)
  (x+1,y-1) (x-1,y+1) (x-1,y-1)
• 像素p的八邻域$N_8(p)$：$N_4(p)$+对角相邻像素
• 邻接性
  4邻接，8邻接，m邻接（混合邻接，消除8邻接产生的二义性）
• 连通性
  令S为图像中的一个像素子集，若S的全部像素之间存在一个通路，则说两个像素p和q在S中是连通的。对于S中的任何像素p，S中连通到该像素的像素集称为S的连通分量。若S中仅有一个连通分量，则集合S称为连通集
• 区域和边界
  令R是图像中的一个像素子集，如果R是连通集，则称R为一个区域。
  一个区域的边界是该区域中至少有一个背景邻点的像素集合。
• 距离度量
  两个点p(x,y) q(s,t)
  • 欧氏距离$D_e(p,q)=[(x-s{)}^2+(y-t{)}^2{]}^{\frac{1}{2}}$。距离某点距离小于等于r的像素是以该点为中心且半径为r的圆平面
  • 城市街区距离$D_4(p,q)=|x-s|+|y-t|$。距离某点距离小于等于r的像素是以该点为中心的菱形
  • 棋盘距离$D_8(p,q)=max(|x-s|,|y-t|)$。距离某点距离小于等于r的像素是以该点为中心的方形

数学工具

• 阵列与矩阵操作
  图像可等价地看做是矩阵。两幅图像的阵列相乘是图像矩阵的点乘；矩阵相乘是两个图像矩阵的相乘
• 线性操作与非线性操作
  线性操作：两个输入的和与分别对输入进行操作然后再求和得到的结果相同（加性）；输入乘以常数的线性操作的输出与乘以该常数的原始输入的操作的输出相同（同质性）
• 算数操作
  图像间的算术操作是阵列操作，在相应像素对之间执行加减乘除
  应用：图像平均（降噪）；图像相减（增强图像之间的差）；图像相乘相除（校正阴影）
• 集合和逻辑操作
  • 灰度集合操作。灰度级图像的元素用三元组(坐标x，坐标y，灰度z)表示。
    • 灰度值的并集和交集操作分别是相应像素对的最大和最小
    • 补集为常数与图像每个像素的灰度的差
  • 逻辑操作：OR AND NOT
  • 模糊集合：隶属度函数，并不是非黑即白而是逐步过渡
• 空间操作
  直接在给定图像的像素上执行
  • 单像素操作
  • 邻域操作
  • 几何空间变换（橡皮膜变换，坐标空间变换+灰度内插）
    • 仿射变换：对一组坐标点做尺度，旋转，平移或偏移
      
      
    • 应用：图像配准。有输入和输出图像，需要估计二者之间的变换函数
      • 使用约束点（输入和参考图像中位置已知的相应点）
• 向量与矩阵操作
  多光谱图像处理。如RGB图像的每个像素都有三个分量，这些分量可以组织成一个列向量的形式，分别指红、绿、蓝色图像中像素的亮度
  像素被表示为向量后，即可使用向量矩阵理论
• 图像变换
  在线性变换域执行图像处理的基本步骤：变换输入图像，用预定义的操作修改该变换，输出图像由计算修改后的变换的反变换
• 概率方法
  以随机量处理灰度值

第3章 灰度变换与空间滤波

空间域处理主要分为灰度变换和空间滤波两类
灰度变换在图像的单个像素上操作，主要以对比度和阈值处理为目的
空间滤波设计改善性能的操作，如通过图像中每个像素的邻域处理来锐化图像

背景知识

• 邻域与预定义的操作仪器称为空间滤波器（空间掩模、核、模板或窗口），在邻域中执行的操作类型决定了滤波处理的特性
• 增强处理是对图像进行加工，使其结果对于特定的应用比原始图像更合适的一种处理。面向问题

灰度变换函数

灰度变换表达式$s=T(r)$，r和s分别代表处理前后的像素值，T是把r映射到s的一种变换。变换函数的值通常存储在一个一维阵列中，且从r到s的映射是通过查找表实现的

• 图像反转

  • 灰度级范围为[0,L-1]，$s=L-1-R$
  • 适用于增强嵌入在图像的按区域中的白色或灰色细节，特别是当黑色面积在尺寸上占主导地位时

• 对数变换

  • $s=clog(1+r)$
  • 将输入中范围季较窄的低灰度值映射为输出中较宽范围的灰度值。相反地，对高的输入灰度值也是如此
  • 用于扩展图像中的暗像素的值，同时压缩更高灰度级的值。反对数变换的作用与此相反

• 幂律（伽马）变换

  • $s=c{r}^{\gamma }$
  • γ>1的值生成的曲线和γ<1的值生成的曲线的效果完全相反
  • c=γ=1是简化成恒等变换
    
  • 伽马校正：校正幂律响应现象

• 分段线性变换函数

• 优点：形式可以任意复杂

• 缺点：技术说明要求用户输入

• 对比度拉伸：扩展图像灰度级动态范围，可以跨越记录截止和显示装置的全部灰度范围

• 灰度级分层：突出图像中特定灰度范围的亮度

• 比特平面分层：256级灰度图像中，每个像素灰度由8比特组成。突出特定比特。四个高阶比特平面包含视觉上重要的大多数数据，低阶比特平面贡献了更精细的灰度细节。原图像中任意一个像素的值可以由比特平面中对应的二进制像素值来重建，可以用于减少存储量

直方图处理

• 灰度级范围为[0,L-1]的图像的直方图是离散函数$h(r_k)=n_k$，$r_k$为第k级灰度值，$n_k$为图像中灰度为$r_k$的像素个数

• 直方图操作可用于图像增强，直方图的固有信息在图像压缩与分割中也非常有用

• 暗图像中，直方图的分量集中在灰度级的低(暗)端
  亮图像直方图的分量倾向于灰度级的高端
  低对比度图像具有较窄的直方图，且集中于灰度级的中部。对于单色图像，这意味着暗淡，好像灰度被冲淡了一样
  高对比度图像中直方图的分量覆盖了很宽的灰度级范围，而且像素的分布没有太不均匀，只有少量垂线比其他的高许多
  结论:若一幅图像的像素倾向于占据整个可能的灰度级并且分布均匀，则该图像会有高对比度的外观并展示灰色调的较大变化。最终效果将是一幅灰度细节丰富且动态范围较大的图像
  

• 直方图均衡
  r到s的变换函数
  
  随机变量的基本描绘子是其概率密度函数(PDF)，公式右边是随机变量r的累积分布函数
  输出灰度变量s的PDF由输入灰度的PDF和所用变换函数决定。变换后，变量s的PDF由下面的公式得到
  
  $T(r)$取决于$p_r(r)$，但得到的$p_s(s)$始终是均匀的，与$p_r(r)$形式无关
  
  
  对离散值，处理其概率（直方图值）与求和，代替处理概率密度函数与积分
  
  则变换的离散形式为
  
  已处理的图像通过该式将输入图像中灰度级为$r_k$的各个像素映射到输出图像中灰度级为$s_k$的对应像素得到。变换$T(r_k)$称为直方图均衡或直方图线性变换，要求严格单调
  直方图均衡能自动确定变换函数，该函数寻求产生有均匀直方图的输出图像

• 直方图匹配（规定化）
  希望处理后的图像具有规定的直方图形状

  • 对像素值灰度级为r的输入图像进行均衡得到中间输出图像，该图像像素值为s值
  • 求得变换函数G(z)
  • 对均衡后的图像中具有s值得每个像素进行反映射$z=G_s^{-1}$得到输出图像中的相应像素
    
    离散形式：
    
    
    

• 局部直方图处理
  之前像素被基于整幅图像的灰度分布的变换函数修改，但增强图像中小区域的细节也是需要的
  解决方法：以图像中每个像素的邻域中的灰度分布为基础设计变换函数，用于映射邻域中心像素的灰度，然后邻域的中心被移至一个相邻像素位置并重复该过程
  当邻域进行逐像素平移时，只有邻域中的一行或者一列被改变，可以在每一步移动中，以新数据更新前一个位置得到的直方图

• 图像增强中使用直方图统计
  直接从直方图获取的统计参数可用于图像增强
  灰度方差（二阶矩）
  
  取样均值
  
  取样方差
  
  使用局部均值和方差进行图像处理很灵活，如图像中包含部分隐含特征
  局部均值：邻域的平均灰度
  局部方差：邻域中灰度对比度的度量
  例： 保持亮区域不变，只增强暗区域

  • 判断一个区域在点(x,y)是暗是亮的方法：比较局部平均灰度$m_{S_{xy}}$与平均图像灰度（全局均值）$m_G$，$m_{S_{xy}}$≤$k_0{m}_G,k_0<1$，则在暗区域
  • 判断区域对比度：${\sigma }_{S_{xy}}\le k_2{\sigma }_G$，则在点(x,y)的像素在暗区域（低对比度）
  • 限制能够接受的最低的低对比度值，防止该过程试图增强标准差为0的恒定区域：$k_1{\sigma }_G\le {\sigma }_{S_{xy}}$
  • 为保留细节并减少计算负担，局部区域的大小应尽可能小
  • 对满足局部增强条件的点的像素乘以指定常数E来处理
  • 参数常用数值：$E=4.0,k_0=0.4,k_1=0.02,k_2=0.4$

空间滤波基础

• 空间滤波机理

  • 滤波：接受（通过）或拒绝一定的频率分量
    低通滤波器：通过低频的滤波器，效果是模糊（平滑）图像
  • 空间滤波器由一个邻域+对该邻域包围的像素执行的预定义操作组成
  • 滤波产生一个新像素，其坐标=邻域中心坐标，像素值=滤波操作的结果
  • 线性空间滤波器：图像像素上执行的是线性操作
    
  • 滤波器的响应(response)g(x,y)：滤波器系数与由该滤波器包围的图像像素乘积之和。使用奇数尺寸的滤波器可简化索引，更为直观
    
  • 使用大小为mxn的滤波器对大小为MxN的图像进行线性空间滤波
    

• 空间相关与卷积
  相关(correlation)：滤波器模板移过图像并计算每个位置乘积之和

  离散单位冲激：包含单个1而其余都是0的函数
  相关是滤波器位移的函数，其第一个值对应于滤波器的零位移，第二个值对应于一个单位的位移。滤波器w与离散单位冲激相关，在该冲激位置产生这个函数的一个翻转的版本
  

  卷积(convolution)：预先将滤波器旋转180度，执行与相关相同的滑动乘积求和操作

  一个函数与单位冲激的卷积，相当于在冲激位置处复制该函数

• 线型滤波的向量表示
  

• 空间滤波器模板的产生

  • 生成一个大小为mxn的线性空间滤波器模板需要mn个模板系数，这些系数是根据该滤波器支持什么样的操作来选择的
  • 例：要将图像中的像素替换为以这些像素为中心的3x3邻域的平均灰度
    
    
  • 高斯平滑滤波器
    关于邻域坐标中心进行采样，$w_1=h(-1,-1),w_2=h(-1,0),...,w_9=h(1,1)$产生3x3的模板
    

平滑空间滤波器

用于模糊处理（去除琐碎细节）和降低噪声（典型随机噪声由灰度级的急剧变化组成，因此平滑后可降噪）

• 平滑线性滤波器
  • 均值滤波器，可归入低通滤波器
  • 输出：包含在滤波器模板邻域内的像素的简单平均值
  • 使用滤波器模板确定的邻域内像素的平均灰度值代替图像中每个像素的值，降低了图像灰度的“尖锐”变化，去除不相关的细节，不相关是指与滤波器尺寸相比较小的像素区域
  • 负面效应：边缘模糊
  • 可以采取赋予中心点最高权重，随着距中心点距离的增加减小系数的加权策略以降低模糊
    
    • 应用：利用阈值处理并基于物体亮度来消除某些物体。为了对感兴趣的物体得到一个粗略的描述而模糊一幅图像， 较小物体的灰度与背景混合在一起， 较大物体变得像“斑点”而易于检测
      
• 统计排序滤波器（非线性）
  • 以滤波器包围的图像区域中所包含的像素的排序为基础，使用统计排序结果决定的值代替中心像素的值
  • 中值滤波器，将像素邻域内灰度的中值代替该像素的值，比相同尺寸的线性平滑滤波器的模糊程度低，对处理脉冲噪声（椒盐噪声）非常有效。主要功能是使拥有不同灰度的点看起来更接近其相邻点，用于去除相对于其邻域像素更亮或更暗且其区域小于$m^2/2$（滤波器区域的一半）的孤立像素族
    
  • 最大值滤波器，最小值滤波器

锐化空间滤波器

• 突出灰度的过渡部分，可由空间微分实现
• 微分算子的响应强度与图像在用算子操作的这一点的突变程度成正比
• 图像微分增强边缘和其他突变(如噪声)，而削弱灰度变化缓慢的区域
  
• 使用二阶微分进行图像锐化——拉普拉斯算子
  • 定义一个二阶微分的离散公式，构造一个基于该公式的滤波器模板
  • 各向同性滤波器，响应与其作用的图像的突变方向无关（旋转不变）
  • 最简单的各向同性微分算子，线性
  • 二维图像函数f(x,y)的拉普拉斯算子定义：
    
    
    对应的滤波模板：
    
  • 使用拉普拉斯算子对图像增强的基本方法：
    
  • 强调图像中灰度的突变，不强调灰度级缓慢变化的区域，将产生把浅灰色边线和突变点叠加到暗色背景中的图像
  • 广泛用于图像分割
    
    
• 非锐化屏蔽和高提升滤波
  • 非锐化掩蔽
    • 从原图像中减去一幅非锐化（平滑过的）版本
    • 步骤：
      1.模糊原图像。
      2.从原图像中减去模糊图像(产生的差值图像称为模板)
      3.将模板加到原图像上
      
      非锐化掩蔽示意图：
      强调（锐化）了信号中出现灰度斜率变化的点
      如果原图像有任何零值，或如果选择的k值大到足以使模板峰值大于原信号中的最小值时，最终的结果可能会存在负灰度。负值将导致边缘周围有暗的晕轮。如果k足够大，将产生不好的结果。
      
  • k>1，该处理称为高提升滤波
• 使用一阶微分对图像锐化（非线性）——梯度
  • 图像中的一阶微分用梯度幅值实现
  • f(x,y)在(x,y)处的梯度定义为二维列向量，它指出了在(x,y)处f最大变化率的方向
    
  • 梯度向量方向变化率在(x,y)处的值。M(x,y)是与原图像大小相等的图像，被称为梯度图像
    
    3x3的模板：Slobe算子
    中心系数为2是通过突出中心点进行平滑
    
    
    所有的模板系数之和为0，表明灰度恒定区域的响应为0
  • 可进行边缘增强
    
  • 梯度处理还可以用于突出灰度图像中看不见的小斑点(这样的小斑点可能是外来物、保护液中的气泡或眼镜中的小缺陷)。在灰度平坦区域中增强小突变的能力是梯度处理的另一个重要特性。

混合空间增强法

将多种图像增强方法结合起来，完成图像增强任务
例：
通过图像锐化突出骨骼细节，但灰度的动态范围很窄且有较高噪声内容
->对梯度图像进行平滑处理并用拉普拉斯图像与其相乘

使用模糊技术进行灰度变换和空间滤波

模糊就是允许函数值在两种属性之间连续地而不是离散地过渡
模糊集合由隶属度函数（特征函数）表征，该函数在某处的值表示隶属度等级，为不严密信息提供了一种表示，如年轻人的界定

• 模糊集合x灰度变换
  定义一个对比度增强规则：
  
  用隶属度函数表示暗、灰、亮概念
• 模糊集合x空间滤波
  基于模糊集合的边缘提取算法：如果一个像素属于平湖区，则令其为白色，否则为黑。黑色和白色是模糊集合$ϵ$

---

写在第4章前
推荐b站上对拉普拉斯变换和傅里叶变换进行推导和讲解的视频！这两位up主进行了生动易懂的教学~
纯干货数学推导_傅里叶级数与傅里叶变换_Part1_三角函数的正交性 （一共有6个视频）
「珂学原理」No. 26「拉普拉斯变换了什么？」

第4章 频率域滤波

滤波器：抑制或最小化某些频率的波或振荡的装置或材料
频率：自变量单位变化期间，一个周期函数重复相同值序列的次数

基本概念

傅里叶级数

具有周期T的连续变量t的函数f(t)可被描述为乘以适当系数的正弦和/或余弦和

其中以下项为系数

傅里叶变换

非周期函数（该曲线下面积有限）可以用正弦和/或余弦乘以加权函数的积分表示

连续变量t的连续函数f(t)的傅里叶变换定义如下。因为t积分过了，$F(\mu )$仅是$\mu$的函数

傅里叶反变换：函数可由其傅里叶变换恢复

用傅里叶级数/变换表示的函数特征可以用傅里叶反变换来重建，不会丢失任何信息

冲激及其取样特征

连续变量t在t=0处的单位冲激为$\delta (t)$，定义如下，且满足第二个式子。物理上把t看成时间，则一个冲激可理解为幅度无限、持续时间为0，拥有单位面积的尖峰信号

一个冲激具有取样特性，取样特性得到函数在冲激位置的值

位于任意点$t_0$的冲激表示为$\delta (t-t_0)$，取样特性在冲激位置$t_0$处得到函数值

离散形式

冲激串：无线多个分离的周期冲激单元$\Delta T$之和

周期为$\Delta T$的冲激串的傅里叶变换还是冲激串，周期为$1/\Delta T$

卷积

已经知道两个函数的卷积涉及一个函数关于原点做翻转（旋转180度）并滑过另一个函数。
连续变量t的两个连续函数f(t) h(t)的卷积必须用积分代替求和：

负号表示翻转，t是一个函数滑过另一个函数的位移

空间域中两个函数的卷积的傅里叶变换=两个函数的傅里叶变换在频率域中的乘积。如果有两个变换的乘积，即可通过计算傅里叶反变换得到空间域的乘积

取样和取样函数的傅里叶变换

取样

计算机处理之前，连续函数必须转换为离散值序列，通过取样和量化来完成。对一个连续函数f(t)，以独立变量t的均匀间隔$\Delta T$取样，用一个$\Delta T$单位间隔的冲激串作为取样函数乘以f(t)。取样后的函数：

序列中任取样值$f_k$：

取样函数的傅里叶变换

下式为冲激串的傅里叶变换

$F(\mu )$和$S(\mu )$的卷积为：

取样后的函数的傅里叶变换是$F(\mu )$的一个拷贝的无限周期序列，是原始函数的傅里叶变换

取样定理

如果从取样函数的傅里叶变换中包含的这个函数的拷贝的周期序列中分离出$F(\mu )$的一个拷贝，且拷贝间的间距足够，则从取样函数的傅里叶变换中提取一个单周期使其等于$F(\mu )$是可能的

满足上式即可保证有足够大的间距
以上公式说明如果以超过函数最高频率的两倍的取样率来获得样本，连续函数的带限函数可以完全从它的样本集恢复

一个带限函数使用频率域方法由其样本复原（从取样函数的傅里叶变换中恢复）

通过$H(\mu )$和$F(\mu )$相乘得到$F(\mu )$

利用傅里叶反变换复原f(t)

混淆

如果一个带限函数用低于其最高频率的两倍取样率取样会发生欠取样，最终效果是周期重叠，且不管使用什么滤波器，都不可能分离出变量的一个单周期。这将使得我们无法知道这些样本是不是原始函数的真实描述。这个现象叫做频率混淆，简称混淆
可以通过平滑输入函数减少高频分量的方法（如对图像采用散焦）来降低混淆的影响，这种处理称为抗混淆，必须在函数被取样之前完成

由取样后的数据重建函数

使用卷积定理：


将取样后的函数$f(t)$代入上式，使用下面的卷积公式
可导出f(t)的空间域表达式：

单变量的离散傅里叶变换(DFT)

由取样后的函数的连续变换得到DFT

对一个周期采样是DFT的基础
将取样后函数代替傅里叶反变换公式中的f(t)，得到

在如下频率处取样得到在周期$\mu =0$到$\mu =1/\Delta T$之间得到$F(\mu )$的M个等间距样本 ：

代入上式得到离散傅里叶变换：

可以用傅里叶反变换复原样本集$f_n$

离散傅里叶变换对适用于任何均匀取样的有限离散样本集

取样和频率间隔之间的关系

离散频率域中的相应间隔（DFT的频率分辨率）$\Delta \mu$取决于连续函数f(t)被取样的持续时间T，且DFT跨越的频率范围取决于取样间隔KaTeX parse error: Undefined control sequence: \Deltat at position 1: \̲D̲e̲l̲t̲a̲t̲

两个变量的函数的拓展

二维冲激及其取样特性

两个连续变量t和z的的冲激定义为：

二维冲激在积分下的取样特性：


对于离散变量x，y，二维离散冲激为：

取样特性：

二维连续傅里叶变换对

二维取样和取样定理

如果取样率满足

则连续带限函数可以由其一组样本无误地恢复

图像中的混淆

图像混淆
图像中主要存在空间混淆和时间混淆。前者由欠取样造成，后者与图像序列中图像间的时间间隔有关
重点关注空间混淆。主要表现形式是人为引入的缺陷。通过稍微散焦被数字化的场景来削弱高频可以降低混淆的影响。

图像内插和重取样
图像处理中二维内插最普通的应用：调整图像大小。放大可看成是过取样，缩小可看成欠取样

莫尔（波纹）模式
一种人为缺陷，指在两个近似等间隔的光栅之间产生的差拍模式，有时是使用周期或近似周期分量对场景取样产生的

二维离散傅里叶变换及其反变换

二维离散傅里叶变换的性质

空间和频率间隔的关系

假设对连续函数f(t,z)取样生成了一副数字图像f(x,y)，令$\Delta T$和$\Delta Z$表示样本间的间隔，则相应离散频率域变量间的间隔分别由以下两个式子给出。频率域样本间的间隔与空间样本间的间距和样本数成反比

平移和旋转

傅里叶变换对满足平移特性

用指数项乘以f(x,y)将使得DFT的原点移到点($u_0,v_0$)，反之，用负指数乘以F(u,v)将使得f(x,y)的原点移到点($x_0,y_0$)

周期性

在区间[0,M-1]中，变换数据由两个在点M/2处碰面的背靠背的半个周期组成

对称性

任意实函数或虚函数可表示为一个奇数部分和一个偶数部分的和

偶数和奇数部分定义如下：

由前面的定义有：

即偶函数是对称的， 奇函数是反对称的。DFT和IDFT中所有指数都是正的，谈论对称(反对称)时，指的是关于序列中点的对称(反对称)。仅考虑非负指数项，奇偶定义变为

对称性质：

如性质3：如果f(x,y)是实函数，则其DFT的实部是偶函数，虚部是奇函数；如果一个DFT分别具有偶函数的实部和奇函数的虚部，则其IDFT是一个实数

傅里叶谱和相角

二维DFT一般是复函数，可用极坐标形式表示

它的幅度被称为傅里叶谱（频谱）

下式被称为相角

功率谱定义为

实函数的傅里叶变换是共轭对称的，谱是关于原点欧对称的，相角关于原点及对称



F(0,0)是谱的最大分量，有时被称为变换的直流分量

如果f(x,y)是虚函数，则其傅里叶变换是共轭反对称的：$F^{\ast }(-u,-v)=F(u,v)$

简单函数的二维傅里叶谱

二维卷积定理

二维循环卷积：

二维卷积定理：


缠绕错误：分别有A个样本和B个样本的两个周期函数的卷积的周期的靠近使它们互相干扰
解决：0填充，使它们具有相同长度P

频率域滤波

频率域滤波由修改一幅图像的傅里叶变换然后计算其反变换得到处理后的结果组成

滤波函数修改输入图像的变换来得到处理后额输出g(x,y)

频率域滤波步骤

空间和频率域滤波间的对应

空间域和频率域滤波间的纽带是卷积定理
给定一个滤波器H(u,v)，要找出其空间域的等价表示。滤波后的输出是 ，这是频率域滤波器的反变换，对应于空间域的滤波器。反过来，根据卷积定理，给定一个空间滤波器，可以用其傅里叶变换得到其频率域表示。两个滤波器形成了傅里叶变换对，其中h(x,y)是一个空间滤波器。因为该滤波器可以由频率域滤波器对一个冲激的响应得到，所以h称为H的脉冲响应。这样的滤波器称为有限冲激响应滤波器，是一类线性空间滤波器
一维频率域高斯滤波器

更复杂的滤波器可以用基本高斯函数构建

使用频率域滤波器平滑图像

在频率域平滑可通过对高斯的衰减达到，也就是用低通滤波
三类低通滤波器：涵盖从非常尖锐（理想）到非常平滑（高斯）的滤波范围

• 理想滤波器ILPF
  
  关于原点径向对称。“理想”表明在半径为D0的圆内，所有频率无衰减通过，圆外所有频率完全被衰减（滤除）
  

• 布特沃斯滤波器
  两种滤波器的过渡。阶数值较高时，该滤波器接近于理想滤波器，较低时更像高斯滤波器

• 高斯滤波器
  
  

使用频率域滤波器锐化图像

因为边缘和其他灰度的急剧变化与高频分量有关，所以图像的锐化可在频率域通过高通滤波来实现，高通滤波会衰减傅里叶变换中的低频分量而不会扰乱高频信息

• 理想高通滤波器IHPF
  
  IHPF将半径为D0的圆内的所有频率置零，毫无衰减地通过圆外所有频率
  
  
• 布特沃斯高通滤波器
  
• 高斯高通滤波器
  

频率域的拉普拉斯算子

拉普拉斯算子可使用如下滤波器在频率域实现：

或者关于频率矩形的中心，使用如下滤波器：

钝化模板、高提升滤波和高频强调滤波

使用频率域方法，钝化模板：

同态滤波

照射-反射模型可用于开发一种频率域处理过程，通过同时压缩灰度范围和增强对比度来改善图像表现
一幅图像f(x,y)可表示为照射分量i和反射分量r的乘积

定义

则有

F分别是对ln i(x,y)或ln r(x,y)的傅里叶变换

同态滤波函数H分别对照射分量和反射分量进行操作

选择性滤波

处理指定的频段或频率矩形的小区域

• 带阻滤波器、带通滤波器
  
• 陷波滤波器
  拒绝或通过实现定义的关于频率矩形中心的一个邻域的频率。可用中心已被平移到陷波滤波器中心的高通滤波器的乘积构造
  
  可减少莫尔模式

第5章 图像复原与重建

图像增强是一个主观过程，图像复原大部分是客观过程，试图利用退化现象的某种先验知识来复原被退化的图像

图像退化/复原过程的模型

退化过程被建模为一个退化函数和一个加性噪声项，对一幅图像f(x,y)进行处理，产生一幅退化后的图像g(x,y)，给定g(x,y)和关于退化函数H的一些知识以及关于加性噪声项$\eta$的一些知识后，希望获得原始图像的一个估计KaTeX parse error: Undefined control sequence: \widetildef at position 1: \̲w̲i̲d̲e̲t̲i̲l̲d̲e̲f̲(x,y)，且希望该估计尽可能接近原始输入图像，H和$\eta$的信息知道得越多，得到的KaTeX parse error: Undefined control sequence: \widetildef at position 1: \̲w̲i̲d̲e̲t̲i̲l̲d̲e̲f̲(x,y)越接近f(x,y)

噪声模型

• 噪声来源于U型的获取/传输过程
• 频率特性是指傅里叶域中噪声的频率内容。当噪声的傅里叶谱是常量时，噪声通常称为白噪声
• 假设噪声独立于空间坐标，且于图像本身不相关

重要的噪声概率密度函数

• 高斯噪声
  高斯噪声在数学上的易处理性使其在实践中常用（正态噪声模型）
  
• 瑞利噪声
  
  瑞利密度对近似歪斜的直方图适用
• 爱尔兰（伽马）噪声
  
• 指数噪声
  
• 均匀噪声
  
• 脉冲噪声（椒盐）
  
  与图像信号的强度相比，脉冲污染通常较大
  

周期噪声

周期噪声是在图像获取期间由电力或机电干扰产生的，一种空间相关噪声，可通过频率域滤波显著减少

噪声参数的估计

通过检测图像的傅里叶谱来估计，对于很简单的周期噪声，还可以直接由图像推断出噪声分量的周期性
可由合理灰度值的一小部分估计PDF的参数

对于直方图形状不是高斯 但类似于高斯的其他形状，使用方差和均值解出a，b

只存在噪声的复原——空间滤波

当一幅图像中唯一存在的退化是噪声时，噪声项是未知的
在周期噪声的情况下，可以由G(v)的谱估计N(u,v)，从G(u,v)中减去N(u,v)即可得到原图像的一个估计，但不常用。仅存在加性噪声的情况下，可以使用空间滤波方法

均值滤波器

• 算术均值滤波器
  
• 几何均值滤波器
  
• 谐波均值滤波器
  
• 逆谐波均值滤波器
  
• 算术均值滤波器和几何均值滤波器更适合处理高斯或均匀随机噪声
• 逆谐波均值滤波器更适合处理脉冲噪声，但必须知道噪声是暗噪声还是亮噪声，以便为Q选择正确符号

统计排序滤波器

一种空间域滤波器，其响应基于由该滤波器包围的图像的区域中的像素值得顺序

• 中值滤波器
  
• 最大值和最小值滤波器
  
• 中点滤波器
  
• 修正的阿尔法均值滤波器
  

自适应滤波器

滤波器的特性变化以mxn的矩形窗口$S_{xy}$定义的滤波器区域内图像的统计特性为基础，自适应滤波器的性能优于以上所有滤波器的性能，但代价是复杂度提高

• 自适应局部降低噪声滤波器
  效果与算术和几何均值滤波器相似，但能得到更清晰的图片
  
• 自适应中值滤波器
  可处理具有更大概率的脉冲噪声，平滑非脉冲噪声时试图保留细节，是传统中值滤波器做不到的
  进行滤波处理是会根据某些条件改变矩形窗口区域的尺寸
  

用频率域滤波消除周期噪声

用一个选择性滤波器（带阻、带通、陷波）分离出噪声

• 带阻滤波器
  在频率域噪声分量的一般位置近似已知的应用中消除噪声
  
• 带通滤波器
  执行与带阻滤波器相反的操作，可提取噪声模式，屏蔽选中频段导致的效果
  
• 陷波滤波器
  阻止或通过事先定义的中心频率的邻域内的频率
  由于傅里叶变换的对称性，为了获得有效的结果，必须以原点对称的形式出现
  
• 最佳陷波滤波
  当存在几种干扰分量时，前面的方法在滤波过程中可能会消除太多图像信息
  最小化了复原的估计值$\hat{f}(x,y)$的局部方差
  屏蔽干扰的主要成分，从被污染的图像中减去该模式的一个可变的加权部分

线性、位置不变的退化

具有加性噪声的线性空间不变退化系统，可在空间域建模为退化函数与一幅图像的卷积再加上噪声
基于卷积定理，频率域中，同样的过程可表示为图像和退化函数的变换的乘积，再加上噪声的变换
许多类型的退化可近似为线性、位置不变的过程，这种方法的优点是可使用许多线性系统理论的工具解决图像复原问题
由于退化被建模为卷积的结果，且图像复原试图找到应用相反过程的滤波器，所以用去卷积表示线性图像复原，用于复原处理的滤波器称为去卷积滤波器

估计退化函数

使用以某种方式估计的退化函数来复原一幅图像的过程称为盲目去卷积，因为真正的退化函数很少能完全知晓

• 观察估计法
  从图像本身收集信息
• 试验估计法
  通过各种系统设置的大与退化图像类似的图像，知道这些图像退化到尽可能接近希望复原的程度
• 数学建模法
  退化建模或从基本原理开始推导一个数学模型

逆滤波

退化函数已给出，最简单的复原方法是直接做逆滤波
用退化函数除退化图像的傅里叶变换G来计算原始图像傅里叶变换的估计


上式克制，即使知道退化函数也不能准确的复原未退化的图像，因为N未知；如果退化函数是0或者非常小的值，则N与H之比很容易支配估计值
解决退化函数为0或者非常小的值的问题的方法是限制滤波的频率，使其接近原点

最小均方误差（维纳）滤波

综合了退化函数和噪声统计特征进行复原处理，目标是找到未污染图像f的一个估计，使它们之间的均方误差最小
维纳滤波比直接逆滤波得到的效果更接近原图

约束最小二乘方滤波

维纳滤波存在的困难：未退化图像和噪声的功率谱必须是已知的，然而功率谱比的常熟估计并不总是一个合适的解
期望是找一个最小准则函数C

满足约束

几何均值滤波

对维纳滤波器稍加推广，$\alpha$=1时，退化为逆滤波器