冈撒雷斯数字图像处理学习笔记

数学工具：

• 阵列与矩阵操作

• 线性操作与非线性操作

• 算术操作

• 集合与逻辑操作

• 空间操作

1. 单像素操作

2. 邻域操作

3. 几何空间变换和图像配准

• 向量与矩阵操作

• 图像变换

• 概率方法

  ---

  一 灰度变换与空间滤波

• 基本的灰度变换函数

• 函数类型	作用	适用情况
  图像反转	使图像反相，得到等效的照片底片	适用于增强嵌入在一幅图像的暗区域中白色或灰色细节，特别是黑色面积在尺寸上占主导地位时
  对数变换	将输入中范围较窄的低灰度值映射为输出范围较宽范围的灰度值。扩展图像中的暗像素值，压缩更高灰度级的值	适用于像素值变化比较大的图像。
  幂律变换	与对数变换差不多。用于图像校正，精确显示(亮暗，再现彩色)，伽马校正改变亮度，改变彩色图像中R,G,B的比率	适用于图像获取，打印和显示的各种设备根据幂律响应 需要展示细节
  分段线性变换函数	对比度拉伸，灰度级分层：突出显示ROI， 比特平面分层

   

  

   

• 直方图处理

  • 直方图均衡：均衡后的图像的灰度级跨越更宽的灰度级范围，最终结果是增强了图像对比度。自动增强。

  • 直方图匹配(规定)：处理后的图像具有规定的直方图形状

  • 局部直方图处理

  • 在图像增强中使用直方图统计

•  

• 空间滤波基础

  • 空间滤波机理：空间滤波由一个邻域(典型的是一个较小的矩形)，对该邻域包围的图像像素执行的预定义操作组成。

  • 空间相关与卷积：相关是滤波器模板移过图像并计算每个位置乘积之和的处理。卷积的机理与其相似，但首先要旋转180°。

  • 线性滤波的向量表示

  • 空间滤波器模板的产生：生成一个大小为m*n的线性空间滤波器要求指定mn个模板系数，这些系数是根据该滤波器支持什么样的操作来选择的。记住，我们使用线性滤波所能做的所有事情就是实现乘积求和操作。

• 平滑空间滤波器

• 平滑滤波器用于模糊处理和降低噪声。

• 平滑线性滤波器：使用滤波器模板确定的邻域内像素的平均灰度值代替图像中像素的值，结果是降低了图像灰度的”尖锐“变化。常见的平滑处理应用就是降低噪声，与此同时会出现边缘模糊的负面效应。平滑线性滤波也叫均值滤波，主要应用于去除图像中不相关的细节，不相关是指与滤波器模板尺寸相比较小的像素区域。

• 处理突出灰度的过度部分

• 基于一阶和二阶微分的锐化滤波器，二阶微分在增强细节方面比一阶微分好得多。

• 使用二阶微分进行图像锐化------拉普拉斯算子，同性微分算子

• 非锐化掩蔽和高提升滤波。非掩蔽处理过程：

  • 1、模糊原图像；

  • 2、从原图像中减去模糊图像(产生的差值图像称为模板)；

  • 3、将模板插到原图像上。

• 使用一阶微分对图像锐化------梯度

• 混合空间增强法

• 使用模糊技术进行灰度变换和空间滤波

  • 模糊集合论原理

  • 使用模糊集合进行灰度变换

  • 使用模糊集合进行空间滤波

• 统计排序(非线性)滤波器：对处理椒盐噪声更加有效。

• 锐化空间滤波器

  处理突出灰度的过度部分

• 基于一阶和二阶微分的锐化滤波器，二阶微分在增强细节方面比一阶微分好得多。

  • 使用二阶微分进行图像锐化------拉普拉斯算子，同性微分算子

  • 非锐化掩蔽和高提升滤波。非掩蔽处理过程：

    • 1、模糊原图像；

    • 2、从原图像中减去模糊图像(产生的差值图像称为模板)；

    • 3、将模板插到原图像上。

  • 使用一阶微分对图像锐化------梯度

• 混合空间增强法

• 使用模糊技术进行灰度变换和空间滤波

  • 模糊集合论原理

  • 使用模糊集合进行灰度变换

  • 使用模糊集合进行空间滤波

    ---

    二 频率域图像增强

    变化最慢的频率成分(u=v=0)对应一幅图像的平均灰度级，当从变换的原点移开时，低频对应着图像的慢变化分量，如图像的平滑部分进一步离开原点时，较高的频率对应图像中变化越来越快的灰度级，如边缘或噪声等尖锐部分。

  • 二维傅里叶变换如何理解图像处理中的二维傅里叶变换？ 图像二维频谱的理解\傅里叶频谱分析

    • 利用傅立叶变换可以将图像灰度矩阵变为频度矩阵。频度矩阵中，高频表示细节，低频表示概貌，如果我们只想要概貌，可以过滤掉高频细节。如果想要压缩存储，也可以去除高频分量。

    • 将二维图形f(x,y)分解成一系列平面波的和，其中在x方向角频率是u、在y方向角频率是v的平面波的幅度和相位用F(u,v)表示

    • 变换完，中心是两个频率（x，y）都为0（直流分量），越靠近中心，两个方向的频率越低，合成的频率与到中心的距离成正比，所以中心是低频分量，外部是高频分量

  •  

  • 频率域滤波

  • 频率域的滤波步骤

  • 1 用(-1)^(x+y)乘以输入图像进行中心变换

    

    2. 计算1中的DFT F(u,v)

    3. 用滤波器函数H(u,v)乘以F(u,v)

    4. 计算3中结果的反DFT

    5. 得到4中结果的实部

    6. 用(-1)^(x+y)乘以5中的结果，取消输入图像的乘数

  • 陷波滤波器

  • 

  • 设置F(0,0)=0(结果图像的平均值为零)，而保留其它傅里叶变换的频率成分不变

  • 除了原点处有凹陷外，其它均是常量函数

  • 由于图像平均值为0而产生整体平均灰度级的降低

    • 用于识别由特定的、局部化频域成分引起的空间图像效果

  • 频率域平滑（低通）滤波器

  • 

  • 低通滤波去掉了高频信息，即细节信息，留下的低频信息代表了概貌。

  • 被低通滤波的图像比原始图像少尖锐的细节部分而突出平滑过渡部分

  • 对比空间域滤波的平滑处理，如均值滤波器

  • 边缘和噪声等尖锐变化处于傅里叶变换的高频部分平滑可以通过衰减高频成分的范围来实现

  • 理想低通滤波器：截断傅里叶变换中的所有高频成分，这些高频成分处于指定距离D之外。半径D越小，图像越模糊，半径越大，模糊越小

  • 巴特沃思低通滤波器：可用于平滑处理，如图像由于量化不足产生虚假轮廓时，常可用低通滤波进行平滑以改进图像质量。

  • 高斯低通滤波器：

  • 比较

    • 理想低通滤波器：尖锐

    • 巴特沃思低通滤波器：处于理想和高斯滤波器之间

    • 高斯低通滤波器：平滑

  • 结论（低通滤波器）

    • 当H(u)有很宽的轮廓时(大的 值)，h(x)有很窄的轮廓，反之亦然。当 接近无限时，H(u)趋于常量函数，而h(x)趋于冲激函数

    • 两个低通滤波器的相似之处在于两个域中的值均为正。所以，在空间域使用带正系数的模板可以实现低通滤波

    • 频率域低通滤波器越窄，滤除的高频成分就越多，使得图像就越模糊；在空间域，这意味着低通滤波器就越宽，模板就越大

  • 低通滤波器的应用实例：模糊,平滑等

  • 频率域锐化（高通）滤波器

  • 截断傅里叶变换中的所有低频成分，这些低频成分处于指定距离D之内

  • 理想高通滤波器

  • 巴特沃思高通滤波器

  • 高斯高通滤波器

  • 频率域的拉普拉斯算子

  • 钝化模板、高频提升滤波和高频加强滤波

    • 钝化模板(锐化或高通图像)：从一幅图像减去其自身模糊图像而生成的锐图像构成。在频率域，即从图像本身减去低通滤波（模糊）后的图像而得到高通滤波（锐化）的图像

  • 高频提升过滤:当A=1,即高通过滤；当A>1,累加图像本身.在频域:

  • 高频提升加强:

  • 用图像的高频成分进行增强

    增加a的目的是使零频率不被滤波器过滤

    当a=A-1,b=1时转化为高频提升过滤

    当b>1，高频得到加强

    巴特沃思滤波器为理想滤波器的尖锐化和高斯滤波器的完全光滑之间的一种过渡

    

  • 与上面相反

  • 被高通滤波的图像比原始图像少灰度级的平滑过渡而突出边缘等细节部分

  • 因为F(0,0)已被设置为0，所以几乎没有平滑的灰度级细节，且图像较暗

  • 在滤波器中加入常量(高频加强)，以使F(0,0)不被完全消除

  • 对比空间域的梯度算子、拉普拉斯算子

  • 结论（高通滤波器）

    • 空间域滤波器有正值和负值，一旦值变为负数，就再也不会变为正数

  • 为什么要进行高频提升和高频加强？

    • 高频滤波后的图像，其背景平均强度减小到接近黑色

    • 解决办法：把原始图像加到过滤后的结果，如拉普拉斯算子增强，这种处理称为高频提升过滤

  • 空域滤波和频域滤波对比

  • 

  • 取样和取样函数的傅里叶变换

    • 图像中的混淆。二维内插最普遍的应用之一是调整图像的大小。放大可看成是过取样，缩小可看成是欠取样。

  • 为什么频率域中的内容在空间域要使用小空间模板

    • 频率域可以凭直观指定滤波器

    • 空间域滤波效果取决于空间模板的大小

  • ---

    三 图像复原与重建

    图像复原试图利用退化现象的某种先验知识来复原被退化的图像.因而复原技术    是面向退化模型的,并且采用相反的过程进行处理,以便恢复出原图像.图像增强的效果评判是主观标准,而复原有设立一个最佳准则,如通过去模糊去除图像模糊则被认为是一种复原技术.

  • 什么是退化？

    • 成像过程中的”退化”，是指由于成像系统各种因素的影响，使得图像质量降低

  • 引起图像退化的原因

    • 成像系统的散焦

    • 成像设备与物体的相对运动

    • 成像器材的固有缺陷

    • 外部干扰等

  • 图像复原

    • 图像复原可以看作图像退化的逆过程，是将图像退化的过程加以估计，建立退化的数学模型后，补偿退化过程造成的失真

  • 图像退化/复原过程的模型

  • 

  • 噪声模型

    • 数字图像的噪声主要来源于图像的获取和传输过程

    • 一些重要的噪声

      • 高斯噪声

      • 瑞利噪声

        • 距离原点的位移是a, 函数曲线向右变形

      • 伽马（爱尔兰）噪声

      • 指数分布噪声

        • 指数分布的PDF是当b=1时爱尔兰分布的特殊情况

      • 均匀分布噪声

      • 脉冲噪声（椒盐噪声）

        • 脉冲噪声可以为正，也可为负

        • 标定以后，脉冲噪声总是数字化为最大值（纯黑或纯白）

        • 通常，负脉冲以黑点（胡椒点）出现，正脉冲以白点（盐点）出现

    • 一些重要噪声的概率密度函数(PDF)

  • 

  • 几种噪声的运用

    • 高斯噪声源于电子电路噪声和由低照明度或高温带来的传感器噪声

    • 瑞利噪声对分布在图像范围内特征化噪声有用

    • 伽马分布和指数分布用于激光成像噪声

    • 均匀密度分布作为模拟随机数产生器的基础

    • 脉冲噪声用于成像中的短暂停留中，如错误的开关操作

    • 周期噪声可以通过频率域滤波显著减*少

  • 空间域滤波复原(唯一退化是噪声)

    • 当唯一退化是噪声时,可以选择空间滤波方法进行图像复原

  • 图像复原的空间滤波器

    • 均值滤波器: 算术均值滤波器、几何均值滤波器、谐波均值滤波器、逆谐波均值滤波器

      • 算术均值滤波器和几何均值滤波器适合于处理高斯或均匀等随机噪声

      • 谐波均值滤波器适合于处理脉冲噪声

    • 顺序统计滤波器: 中值滤波器、最大值滤波器、最小值滤波器、中点滤波器、修正后的阿尔法均值滤波器

      • 最大值滤波器用于发现图像中的最亮点可以有效过滤“胡椒”噪声；最小值滤波器用于发现图像中的最暗点可以有效过滤“盐”噪声。中点滤波器结合了顺序统计和求平均。对于高斯和均匀随机分布这类噪声有最好的效果。

    • 自适应滤波器: 自适应局部噪声消除滤波器、自适应中值滤波器

      • 自适应中值滤波器目的

        • 除去“椒盐”噪声（冲激噪声）

        • 平滑其它非冲激噪声

        • 减少物体边界细化或粗化等失真

  • 图像复原的频率域滤波器

    • 带阻滤波器

    • 带通滤波器

    • 陷波滤波器

      • 阻止或通过事先定义的中心频率邻域内的频率

      • 由于傅里叶变换是对称的，陷波滤波器必须以关于原点对称的形式出现

      • 如果陷波滤波器位于原点处，则以它本身形式出现

    • 最佳陷波滤波器

  • 结论

    • 上述噪声图像的直方图和它们的概率密度函数曲线对应相似

    • 前面5种噪声的图像并没有显著不同,但它们的直方图具有明显的区别

  • 四 图像压缩

  • 图像压缩的方法

    • 三种数据冗余类型

      • 编码冗余

      • 空间和时间冗余/像素间冗余

        • 因为任何给定像素的值可以根据与这个像素相邻的像素进行预测，所以单个像素携带的信息相对较少

        • 对于一幅图像，很多单个像素对视觉的贡献是冗余的。它的值可以通过与它相邻的像素值为基础进行预测

      • 不相关的信息/心理视觉冗余

        • 有些信息在通常的视觉过程中与另外一些信息相比并不那么重要，这些信息被认为是心理视觉冗余的，去除这些信息并不会明显降低图像质量

        • 由于消除心理视觉冗余数据会导致一定量信息的丢失，所以这一过程通常称为量化

        • 心理视觉冗余压缩是不可恢复的，量化的结果导致了数据有损压缩

    • 消除冗余数据:将原始图像转化为从统计角度看,尽可能不相关的数据集

      • 无损压缩

      • 有损压缩

    • 压缩方法

      • 预测编码方法（对应空域方法）

      • 变换编码方法（对应频域方法）

    • 保真度准则

      • 图像压缩可能会导致信息损失，需要评价信息损失的测度以描述解码图像相对于原始图像的偏离程度，这些测度称为保真度准则

      • 两大类：客观保真度准则，主观保真度准则

        • 客观保真度准则：当所损失的信息量可以用编码输入图像与编码输出图像的函数表示时，它就是基于客观保真度准则的。

  • 均方根误差

  • 均方信噪比

  • 图像压缩模型

  •     

  • 信源编码器

  • 

  • 转换器：减少像素间冗余

  • 量化器：减少心理视觉冗余，该步操作是不可逆的

  • 符号编码器：减少编码冗余

  • 并不是每个图像压缩系统都必须包含这3种操作，如进行无误差压缩时，必须去掉量化器

  • 信源解码器

  • 

  • 符号解码器：进行符号编码的逆操作

  • 反向转换器：进行转换器的逆操作

  • 没有反向量化器

  • 信道编码器和信道解码器

    • 信道是有噪声的或易产生误差时，信道编码器和信道解码器对整个编解码过程非常重要

    • 由于信源编码器的输出数据一般只有很少的冗余，所以它们对输出噪声很敏感

  • 信息论基础

    • 信道

      • 信道是连接信源和用户的物理媒介。它可以是电话线、无线传播、导线或internet

    • 信源

      • A={a1,a2,…,aj}称为信源字母表。信源产生符号aj的事件概率是P(aj)，一个J×1向量 用于表示所有信源符号的概率集合

      • 有限总体集合(A,z)完全描述了信息源

    • 信道输出

      • B={b1,b2,…,bk}称为信道字母表， 提交给用户的字符bk的概率是P(bk)

      • 有限集合(B,v)完整描述了信道输出和用户收到的信息

    • 基本编码定理（自学）

      • 无噪声编码定理

      • 噪声编码定理

      • 信源编码定理

    • 无误差压缩

  • 减少像素间冗余， 减少编码冗余

  • 变长编码

  • LZW编码

  • 位平面编码

    • 二值图像位平面

    • 灰度编码位平面

  • 无损预测编码

  • 基本思想

    • 通过仅提取每个像素中的新信息并对它们编码来消除像素间的冗余

    • 1个像素的新信息定义为该像素的当前值与预测值的差

    • 正是由于像素间有相关性，所以才使预测成为可能

  • 有损压缩

    • 空域方法（直接对像素在图像空间进行操作）

      • 有损预测编码系统

      • 最优预测器

      • 最优量化

    • 频域方法（基于图像变换的编码方法）

      • 变换编码系统

  • 

  • 变换选择

    • DFT变换

    • WHT变换

    • DCT变换（离散余弦变换）:DCT变换类似于低通滤波器

  • 子图像尺寸选择

  • 子图像尺寸是影响变换编码误差和计算复杂度的一个重要因素

  • 相邻子图像之间的相关（冗余）减少到可接受

  • 子图像的长和宽都是2的整数次幂。这主要是为了简化对子图像变换的计算

  • 比特分配

    • 整个对变换子图像的系数截断、量化和编码的全过程称为比特分配

    • 截断误差和2个因素有关

      • 截除的变换系数的数量和相对重要性

      • 用来表示所保留系数的精度

    • 保留的系数是根据的准则

      • 最大方差准则，称为分区编码

      • 最大幅度准则，称为阈值编码

  • 其它编码方法

    • 子带(subband)编码

    • 小波编码

    • 分形（fractal）编码

    • 矢量量化(vector quantization,VQ)编码

    • 统计编码/熵编码

  • 二值图像压缩标准

    • G3和G4：G3对它们的压缩率约为15:1。 G4的压缩率一般比G3高1倍

    • JPEG：用于静态图像（彩色与灰度图像）的压缩算法，JPEG对录像机质量的静止图像的压缩率一般可达到25:1

  •  

    

  • 视频压缩标准

    • MPEG标准: MPEG-1、MPEG-2、MPEG-4、MPEG-7和MPEG-21

    • MPEG帧的分类

      •  I帧：不需要参考其它画面而独立进行压缩编码的画面

      • P帧：参考前面已编码的I或P画面进行预测编码的画面

      • B帧：既参考前面的I或P画面、又参考后面的I或P画面进行双向预测编码的画面

  • 连续帧图像压缩的基本思想

    • 可以根据同帧附近像素来加以预测，被称为：帧内编码技术

    • 可以根据附近帧中的像素来加以预测，被称为：帧间编码技术

      ---

      五 形态学处理

      基本思想是用具有一定形态的结构元素去度量和提取图像中的对应形状以达到对图像分析和识别的目的，形态学图像处理的数学基础和所用语言是集

      合论。

    • 主要应用：边界提取、区域填充、连通分量的提取、凸壳、细化、粗化等

    • 基本运算：膨胀、腐蚀、开操作和闭操作

    • 集合论基础知识

      • 集合的并、交、补、差

    • 集合B的反射,即关于原集合原点对称

    • 集合A平移到点z=(z1,z2),表示为(A)z

    • 

    • 膨胀和腐蚀:,

      • 膨胀的应用：桥接文字裂缝、

      • 腐蚀的应用：使用腐蚀消除图像的细节部分，产生滤波器的作用

    • 开操作和闭操作

      • 开操作的作用，先腐蚀后膨胀。结构元素在A内部滚动，使图像的轮廓变得光滑，断开狭窄的间断和消除细的突出物

      • 闭操作的作用，先膨胀后腐蚀，结构元素在A外部滚动同样使图像的轮廓变得光滑，但与开操作相反，它能消除狭窄的间断和长细的鸿沟，消除小的孔洞，并填补轮廓线中的裂痕

    • 击中或击不中变换

    • 形态学的主要应用

      • 边界提取

        • ，先用B对A腐蚀，然后用A减去腐蚀得到

      • 区域填充

        • 

      • 连通分量的提取

        • 

      • 凸壳：如果连接集合A内任意两个点的直线段都在A的内部，则A是凸形的

        • 

        • 一个明显缺点是：凸壳可能超出确保凸性所需的最小尺寸。解决办法：限制水平和垂直方向上的尺寸大小，但增加了算法的复杂性

      • 细化

        • 

      • 粗化：粗化和细化在形态学上是对偶过程

        • 

        • 粗化可以通过细化算法求补集实现

    • 对Ac细化结果求补

    • Ac细化的结果，形成一条边界

    • 对Ac细化结果求补

    • 后续处理：消除断点

    • 

    • 膨胀和腐蚀:,

      • 膨胀的应用：桥接文字裂缝、

      • 腐蚀的应用：使用腐蚀消除图像的细节部分，产生滤波器的作用

    • 开操作和闭操作

      • 开操作的作用，先腐蚀后膨胀。结构元素在A内部滚动，使图像的轮廓变得光滑，断开狭窄的间断和消除细的突出物

      • 闭操作的作用，先膨胀后腐蚀，结构元素在A外部滚动同样使图像的轮廓变得光滑，但与开操作相反，它能消除狭窄的间断和长细的鸿沟，消除小的孔洞，并填补轮廓线中的裂痕

    • 击中或击不中变换

    • 形态学的主要应用

      • 边界提取

        • ，先用B对A腐蚀，然后用A减去腐蚀得到

      • 区域填充

        • 

      • 连通分量的提取

        • 

      • 凸壳：如果连接集合A内任意两个点的直线段都在A的内部，则A是凸形的

        • 

        • 一个明显缺点是：凸壳可能超出确保凸性所需的最小尺寸。解决办法：限制水平和垂直方向上的尺寸大小，但增加了算法的复杂性

      • 细化

        • 

      • 粗化：粗化和细化在形态学上是对偶过程

        • 

        • 粗化可以通过细化算法求补集实现

    • 对Ac细化结果求补

    • Ac细化的结果，形成一条边界

    • 对Ac细化结果求补

    • 后续处理：消除断点

      ---

      六 图像分割

      将图像划分为不同区域。某些部分感兴趣，这些部分一般称为目标或前景。为了辨识和分析目标，需要将有关区域分离

      提取出来，在此基础上对目标进一步利用。图像分割就是指把图像分成各具特性的区域并提取出感兴趣目标的技术和过程

    • 三大类方法

      • 根据区域间灰度不连续搜寻区域之间的边界

      • 以像素性质的分布进行阈值处理

      • 直接搜寻区域进行分割

    • 图像分割算法是基于亮度值的不连续性和相似性

      • 不连续性是基于亮度的不连续变化分割图像，如图像的边缘

      • 根据制定的准则将图像分割为相似的区域，如阈值处理、区域生长、区域分离和聚合

    • 间断检测

      • 点检测:使用如图所示的模板，如果 ，则在模板中心位置检测到一个点其中，T是阈值，R是模板计算值.

    • 

    • 如果模板响应为0，则表示在灰度级为常数的区域

    • 如果一个孤立点与它周围的点不同，则可以使用上述模板进行检测。

    • 线检测

      • 4个线检测模板(响应最大的方向依次为:水平,45°,垂直,－45°)

    • 

    • 在图像中心的点,在哪个模板的响应更大,则在此方向的相关性更大.

    • 在灰度恒定的区域，上述4个模板的响应为零

    • 边缘检测: 一组相连的像素集合，这些像素位于两个区域的边界上

      • 结论·

        • 一阶导数可用于检测图像中的一个点是否在边缘上

        • 二阶导数可以判断一个边缘像素是在边缘亮的一边还是暗的一边（拐点）

        • 一条连接二阶导数正值和负值的虚构直线将在边缘中点附近穿过零点

        • 一阶导数使用梯度算子，二阶导数使用拉普拉斯算子

      • 梯度算子

        • Roberts交叉梯度算子

    • 

      

    • 梯度计算由两个模板组成：Roberts交叉梯度算子

    • 

    • Prewitt梯度算子——3x3的梯度模板

    • 

    • 两个模板

    •  

      

    • Sobel梯度算子——3x3的梯度模板

    • 权值2用于通过增加中心点的重要性而实现某种程度的平滑效果

      

    • 两个模板

    • 

    • 结论

      • Prewitt和Sobel算子是计算数字梯度时最常用的算子

      • Prewitt模板比Sobel模板简单，但Sobel模板能够有效抑制噪声

    • 拉普拉斯算子

    • 

    • 模板一

    • 

      

    • 模板二

    • 

       

      

    • 边缘连接

    • 由于噪声、照明等产生边缘间断，使得一组像素难以完整形成边缘。 因此，在边缘检测算法后，使用连接过程将间断的边缘像素组合成完整边缘

    • 局部处理

    • 分析图像中每个边缘点(x,y)的一个邻域内的像素，根据某种准则将相似点进行连接，由满足该准则的像素连接形成边缘.

    • 确定边缘像素的相似性

    • 边缘像素梯度算子的响应强度:计算两个像素点之间梯度绝对值（幅度）之差，若小于可接受的标准则认为两个像素为边缘像素，两者在幅度上认为是相似的。

    • 边缘像素梯度算子的方向：计算两个像素点梯度的方向角度的反正切值之差，若小于可接受·的·标准则认为两个像素为边缘像素，两者在角度上认为是相似的。

    • Hough变换

      • 基本思想

        • 对于边界上的n个点的点集，找出共线的点集和直线方程。

        • 对于任意两点的直线方程：y = ax +b，构造一个参数a，b的平面

        • 对应在参数ab平面上都有一个点过xy平面一个点(x,y)的所有直线，构成参数ab平面上的一条直线

        • 如果点(x1,y1)与点(x2,y2)共线，那么这两点在参数ab平面上的直线将有一个交点,具有相同的a和b

        • 在参数ab平面上相交直线最多的点，对应的xy平面上的直线就是我们的解

      • 算法实现

        • 由于垂直直线a为无穷大，我们改用极坐标形式

        • 参数平面为，对应不是直线而是正弦曲线

        • 使用交点累加器，或交点统计直方图，找出相交线段最多的参数空间的点

        • 然后找出该点对应的xy平面的直线线段

    • 阈值处理

    • 基础

      • 阈值处理后的图像g(x,y)定义为

    •  

      

    • 标记为1的像素对应于对象，标记为0的像素对应于背景

    • 当T仅取决于f(x,y)，阈值称为全局的

    • 当T取决于f(x,y)和p(x,y)，阈值是局部的

    • 当T取决于空间坐标x和y，阈值就是动态的或自适应的

    • 通过边界特性选择阈值

      • 基本思想

    • 如果直方图的各个波峰很高、很窄、对称，且被很深的波谷分开时，有利于选择阈值

    • 为了改善直方图的波峰形状，我们只把区域边缘的像素绘入直方图，而不考虑区域中间的像素

    • 用微分算子，处理图像，使图像只剩下边界中心两边的值

    • 如果用拉普拉斯算子，不通过直方图，直接得到阈值，方法是使用拉普拉斯算子过滤图像，将0跨越点对应的灰度值为阈值T

    • 对图像进行梯度计算，得到梯度图像。

    • 得到梯度值最大的那一部分（比如10%）的像素直方图

    • 通过直方图的谷底，得到阈值T

    • 算法的实现

    • 基于区域的分割

      • 将区域R划分为若干个子区域R1,R2,…,Rn,这些区域满足以下五个条件：1、完备性，2、连通性，3、独立性，4、单一性，5、互斥性

      • 区域增长的算法实现

      1. 根据图像的不同应用选择一个或一组种子，它或者是最亮或最暗的点，或者是位于点簇中心的点

      2. 选择一个描述符（条件）

      3. 从该种子开始向外扩张，首先把种子像素加入结果集合，然后不断将与集合中各个像素连通、且满足描述符的像素加入集合

      4. 上一过程进行到不再有满足条件的新结点加入集合为止

      • 通过像素集合的区域增长

      1. 对图像中灰度级不同的区域，均分为四个子区域

    •             2.如果相邻的子区域所有像素的灰度级相同，则将其合并

                  3.反复进行上两步操作，直至不再有新的分裂与合并为止

      

      f(x,y)是点(x,y)的灰度级，p(x,y)表示该点的局部性质，如以(x,y)为中心的邻域的平均灰度级

      ---

      七 表示与描述

    • 概述

      • 图像分割结果是得到了区域内的像素集合，或位于区域边界上的像素集合，这两个集合是互补的

      • 如果关心的是区域的反射性质，如灰度、颜色、纹理等，常用内部表示法

      • 如果关心的是区域形状，则选用外部表示法

      • 表示是直接具体地表示目标，描述是较抽象地表示目标

      • 描述可分为对边界的描述和对区域的描述

      • 表示侧重于数据结构，而描述侧重于区域特性以及不同区域间的联系和差别

    • 表示方法

      • 链码

        • 链码用于表示由顺序连接的具有指定长度和方向的直线段组成的边界线

        • 这种表示方法基于线段的4或8连接

        • 每一段的方向使用数字编号方法进行编码

    • 

      

    • • 算法实现

        • 给每一个线段边界一个方向编码（有4链码和8链码两种编码方法）

        • 从起点开始，沿边界编码，至起点被重新碰到，结束一个对象的编码

    • 多边形近似

      • 用最少的多边形线段，获取边界形状的本质

      • 两种方法

        • 点合成法

        1. 沿着边界选两个相邻的点对，计算首尾连接直线段与原始折线段的误差R。

        2. 如果误差R小于预先设置的阈值T。去掉中间点，选新点对与下一相邻点对，重复1）；否则，存储线段的参数，置误差为0，选被存储线段的终点为起点，重复1）2）。

        3. 当程序的第一个起点被遇到，算法结束。

    • 

       

    • 边分裂法

      • 算法

        1. 连接边界线段的两个端点（如果是封闭边界，连接最远点）；

        2. 如果最大正交距离大于阈值，将边界分为两段，最大值点定位一个顶点。重复（1）；

        3. 如果没有超过阈值的正交距离，结束。

    • 

    • 外形特征

      • 基本思想

        • 外形特征是一种用一维函数表达边界的方法。基本思想是把边界的表示降到一维函数

      • 函数定义

        • 函数定义——质心角函数：边上的点到质心的距离r，作为夹角的函数

    • 

    • 边界分段

      • 算法

        • 给进入和离开凸起补集D的变换点打标记来划分边界段。

    • 区域骨架

    • 边界描述子

      • 简单描述子

        1. 边界的周长

        2. 边界的直径

        3. 边界的曲率

        4. 边界的凸线段点

        5. 边界的凹线段点

      • 形状数----链码的实用化

        1. 最小循环首差链码（用相邻链码的差代替链码）

      • 傅里叶描述子

      • 矩量

    • 关系描述子

    • 图像中各个部分间的结构关系是二维的，而串是一维的，期望找到一种方法把二维关系转化为一维的串， 主导思想是考虑物体各个部分的连接线段

    • 阶梯关系编码

    • 骨架关系编码

    • 方向关系编码

    • 内角关系编码

    • 树结构关系编码

    • 区域骨架

    • 边界描述子

      • 简单描述子

        1. 边界的周长

        2. 边界的直径

        3. 边界的曲率

        4. 边界的凸线段点

        5. 边界的凹线段点

      • 形状数----链码的实用化

        1. 最小循环首差链码（用相邻链码的差代替链码）

      • 傅里叶描述子

      • 矩量

    • 图像中各个部分间的结构关系是二维的，而串是一维的，期望找到一种方法把二维关系转化为一维的串， 主导思想是考虑物体各个部分的连接线段

    • 阶梯关系编码

    • 骨架关系编码

    • 方向关系编码

    • 内角关系编码

    • 树结构关系编码

    • 关系描述子

      图像中各个部分间的结构关系是二维的，而串是一维的，期望找到一种方法把二维关系转化为一维的串， 主导思想是考虑物体各个部分的连接线段

    • 阶梯关系编码

    • 骨架关系编码

    • 方向关系编码

    • 内角关系编码

    • 树结构关系编码

      ---

      八 彩色图像处理

    • 彩色模型

      • RGB模型。用于表示每个像素的比特数称为像素深度。全彩图像通常用来表示一幅24比特的彩色图像

      • CMY模型

      • CMYK模型

      • HSI模型（色调，饱和度，亮度）

    • 伪彩色处理

    • 基于一种指定的规则对灰度值赋以颜色处理，是为了区分对单色图像赋以彩色图像处理和与真彩图像相关的处理。伪彩色的主要应用在于人目视观察和解释单幅图像或序列图像中的灰度级事件。

    • 灰度分层。

    • 全彩色图像处理

      • 第一类，分别处理每一幅图像分量，然后将其合成为一幅图像。

      • 第二类，直接处理彩色像素。彩色像素实际上是向量。

    • 彩色变换

      • 补色：补色类似于灰度的负值，对于增强在彩色图像暗区的细节很有用，特别是区域在大小上占优势时。

      • 彩色分层。

      • 色调和彩色校正

      • 彩色图像锐化

    • 基于彩色图像分割

      • HSI彩色分割

        • H色调图像方便描述彩色

        • S饱和度图像做模板分离感兴趣的特征区

        • I强度图像不携带彩色信息

      • RGB向量空间分割

        ---

        八 小波变换和多分辨率处理

        小波变换使得压缩，传输和分析图像变得更容易。小波变换基于小型波，具有    变化的频率和持续的时间。这就为图像提供了等效的乐谱，该乐谱不仅提供了要演奏的音符（或频率），还提供了演奏这些音符的时间。而傅里叶变换只是提供了音符（或频率信息），而时间信息在变换的过程中却丢失了。多分辨率处理就是以不同的分辨率对图像进行处理。

      • 图像金字塔：高斯金字塔（近似金字塔），拉普拉斯金字塔（预测残差金字塔）

        • 上采样可看成序列中的每一个样本后插入一个0，下采样可看成每隔一个样本丢弃一个样本。

        • 金字塔的低分辨率级别用于分析大的结构或图像整体内容，而高分辨率适合分析单个物体的特性。由粗到细的分析策略在模式识别中很有用。

      • 子带掩码：子带编码中，一幅图像被分解为一组频带受限的分量被成为子带。子带可以重组在一起，无误差地重构原始图像。

      • 多分辨率展开。

        ---

        九 基于内容的图像检索

      • 特征提取

        • 颜色特征

          • 直方图相交法：计算量大

          • 欧式距离

          • 距离法：粗糙

          • 中心矩法

          • 参考颜色表法，对颜色进行排序，选择其中n个颜色进行颜色匹配

        • 纹理特征

          • 纹理可认为是灰度(颜色)在空间以一定的形式变化而产生的图案（模式）

          • 一般来说，纹理图像中灰度分布具有某种周期性，即便灰度变化是随机的，它也具有一定的统计特性纹理通常和图像频谱中的高频分量是密切联系的，光滑的图像（主要包括低频分量）一般不认为是纹理图像

          • Tamura纹理表示法

            • 对比度、粗细度和方向性是描述纹理的3个量利用这3个量可组合成一个3-D空间在这个3-D空间中，两点间的欧式距离与人对纹理感知的差距很接近

          • 联合概率矩阵表示

            • 这种方法考察了纹理在灰度级空间中的相关性首先基于像素间的距离和方向建立联合概率矩阵然后从联合概率矩阵中提取出有意义的统计量作为纹理描述

          • 小波表示

            • 用小波子带的统计量（均值和方差）作为纹理表示

          • 形状特征

            • 要获得有关目标的形状参数，需要先对图像进行分割，所以形状特征的提取会受图像分割效果的影响

            • 为准确进行形状匹配，需要解决平移、尺度、旋转变换不变性的问题

            • 形状表示方法可分为两类，一类是基于边缘的形状表示另一类是基于区域的形状表示

            • 描述方法：傅里叶描述子，不变矩描述子，有限元素法、旋转函数、小波描述子等

      • 相似度匹配

      • 相关反馈

      • 索引结构