【视觉入门】——空域图像增强(邻域运算部分）：图像卷积、多种滤波器；二值图像分析及形态学图像处理

空域图像增强邻域运算（或模板操作）

利用像素本身以及其邻域像素的灰度关系进行增强的方法。常称为空间滤波。

滤波技术分类：

	线性	非线性
平滑	线性平滑	非线性平滑
锐化	线性锐化	非线性锐化

平滑滤波：

• 特点：削弱或消除图像中的高频分量，但不影响低频分量。
• 作用：
  • 消除噪声
  • 使图像变得柔和
  • 提取大目标之前去除太小的细节
  • 将目标内小间断连接起来

锐化滤波：

• 特点：削弱或消除图像中的低频分量，但不影响高频分量 。
• 作用：增强被模糊的细节或目标的边缘

滤波实现方法——模板卷积

实现步骤：

• 建立一个尺寸为n×n（n一般为奇数）模板（卷积核）
• 将模板在图中从左向右、从上到下逐点移动，并使模板中心与图像中某个像素位置重合；
• 将模板上的各个系数与模板下各对应像素的灰度相乘；
• 将所有乘积相加；
• 将和赋给图像中对应模板中心位置的像素。

卷积操作的代数表达式为：

空间平滑滤波——不影响低频分量

常见图像噪声类型：

• 椒盐噪声：含有随机出现的黑白亮度值的噪声。
• 脉冲噪声：含有随机的白强度值（正脉冲）或黑强度值（负脉冲）的噪声。
• 高斯噪声：含有亮度服从高斯或正态分布的噪声。高斯噪声是许多传感器噪声的很好模型（如摄像机的电子干扰噪声）。

均值滤波器

简单平均模板、加权平均模板：

3×3加权平均模板：中心点权值最高，随着距中心点距离的增加权值减小，以减小平滑处理中的模糊。

均值滤波器去除了图像中的高频成分和图像中的锐化细节，消除噪声的同时，也会使图像中的边界信息变得模糊。在使用时，一定要选择恰当的移动窗口和权值。

空间均值滤波的重要应用之一：为了对感兴趣物体得到一个粗略的描述而模糊一幅图像，使较小物体与背景混合在一起：

高斯滤波器

高斯滤波器是一类根据高斯函数的形状来选择权值的线性平滑滤波器。高斯平滑滤波器对去除服从正态分布的噪声很有效。

典型的高斯滤波器：

滤波模板的选择：

• 模板尺寸越大，滤波程度越高；噪声消除越彻底，而同时，图像细节的损失也越大。
• 通常模板的所有系数之和为1，这是为了保证模板卷积完成后目标图像的总体高度不发生变化
• 模板系数的值可正可负，可大可小。系数值越大，代表该系数对应像素的权重越高。负值则可用于锐化滤波器。

中值滤波器——非线性滤波

中值滤波器的基本思想是用像素点邻域灰度值的中值来代替该像素点的灰度值。该方法在去除脉冲噪声、椒盐噪声的同时又能保留图像边缘细节。

中值滤波可以保留目标边缘，这是中值滤波相对于均值滤波的最大优势。

其他滤波器（统计排序、中点、边缘保持）

• 统计排序滤波器：
  • 序统计滤波器是一种非线性的空间滤波器,它的响应基于图像滤波器包围的图像区域中像素的排序,然后由统计排序结果决定的值代替中心像素的值。
  • 典型的序统计滤波器：
  • 最大值滤波器：最大值滤波器可用于检测图像中的最亮点，并可减弱"椒"噪声。
  • 最小值滤波器：最小值滤波器可用于检测图像中的最暗点，并可减弱“盐”噪声。
• 中点滤波器：
  • 
  • 中点滤波器结合了序统计滤波器和均值滤波器，对多种随机分布的噪声，如高斯噪声和均匀噪声都比较有效。

空间锐化滤波

作用：

• 使图像变得细节明晰，突出图像的边缘细节及轮廓。
• 便于对图像进行边缘检测（可以使用空间微分来完成）

基于一阶微分的图像增强——梯度法

梯度是函数变化的一种度量。

记函数f(x,y)在其坐标(x,y)上

• 梯度定义为：
  

• 梯度向量的方向：在(x,y)处f的最大变化率的方向

• 梯度向量的大小（幅值）：

• 对于数字图像，由差分代替微分，梯度近似表达式：

Roberts交叉算子、Prewitt算子、Sobel算子的模板比较：

例：（使用Sobel算子）

基于二阶微分的图像增强——拉普拉斯算子

二维图像的拉普拉斯变换：
离散形式：

二维拉普拉斯算子：
二维拉普拉斯算子是各向同性的微分算子.

滤波器的响应与滤波器作用的图像突变方向无关。各向同性滤波器具有旋转不变性

二维拉普拉斯算子模板（卷积核）：

相关阶跃边沿和线条边缘的一节和二阶导数：

使用拉普拉斯变换对图像增强的基本方法:

结论

• 一阶微分处理通常会产生较宽的边缘。
• 二阶微分处理对细节有较强的响应,如细线和孤立点。
• 一阶微分处理一般对灰度阶梯有较强的响应。

边缘检测器

• LoG边缘检测器：

  • 高斯型函数：
  • 高斯型拉普拉斯算子(LoG)

• Canny检测器：

  • 

  • Canny边缘检测器是高斯函数的一阶导数。

  • 用高斯滤波器平滑图像：

  • 用2×2一阶有限差分近似式来计算梯度的幅值和方向

  • 对梯度幅值沿灰度梯度方向进行非极大值抑制

  • 用双阈值算法检测和连接边缘

二值图像分析及形态学图像处理

灰度图像的二值化处理

** 阈值（Threshold）的概念**：
阈值（T），即门限值：
其中，f(x,y)为灰度图像的灰度值，该灰度图像由亮的物体和暗的背景组成。g(x,y)为对应的二值图像的数值，1——物体，0——背景

图像二值化处理的关键在于阈值的选取，不同阈值得到不同的二值化结果。

通常利用灰度直方图选择阈值

• 模态方法：
  • 如果图像中的物体具有同一灰度值，背景具有另一灰度值，图像被零均值0高斯噪声污染，可假定灰度分布曲线是由两个正态分布函数(μ₁,σ₁²)和(μ₂,σ₂²)叠加而成。图像灰度直方图会出现两个分离的峰值，阈值可设在波谷的位置。
  • 
• 迭代式阈值选取
  • 选择一个初始阈值的估算值T
  • 利用阈值T把图像分割成两组，R1和R2
  • 计算区域R1和R2的均值μ1、μ2
  • 选择新的阈值 T＝(μ1＋μ2)/2
  • 重复上述过程，直到μ1和μ2不再变化
• Otsu（大津）算法
  • 记t为前景与背景的分割阈值，前景点数占图像比例为w0，平均灰度为u0；背景点数占图像比例为w1，平均灰度为u1
  • 图像的总平均灰度为：u=w0×u0+w1×u1
  • 类间方差值：
  • 从最小灰度值到最大灰度值遍历t，当t使得g 最大时，t即为分割的最佳阈值(类间方差值最大)

二值图像的几何特性

惯性矩：
对于图像：

• 面积与位置：
• 方向（惯性主轴）：
  • f(x,y)对于直线y＝x tanθ的惯性矩:
  • 惯性主轴：m_θ最小时，对应的直线y＝x tanθ₀为惯性主轴
  • θ₀满足方程:

二值图像的编码

• 游程长度编码：是一种用二值图像中像素值连续为1的个数（像素1的长度）来描述图像的方法。则1的游程长度为：1和0的游程长度为：
• 二值边缘轮廓的链码表示
  • 链码：沿着轮廓记录边缘表的方法，它规定了边缘表中每一个边缘点所对应的轮廓方向。
  • 

二值图像算法

• 连通成分标记：找出图像中的所有连通成分，并对同一连通成分中的所有点分配同一标记。
• 亏格数（欧拉数）：亏格数（或欧拉数）定义为连通成分数减去洞数，具有平稳、旋转和比例不变特性，可作为识别物体的特征。
• 细化：把二值图像区域缩成线条,以逼近区域中心线的图像处理方法。其目的是减少图像成分，只保留区域的最基本信息。
• 扩展(expanding)与收缩(shrinking)：
  • 扩展：如果邻点是1，则将该点从0变为1
  • 收缩：如果邻点是0，则将该点从1变为0
  • 作用：先扩张后收缩，能补上不希望存在的洞；先收缩后扩张，能除去孤立的噪声点

形态学图像处理

形态学（Morphology)是研究动物和植物的形态和结构的学科。这里使用同一词语表示数学形态学（Mathematical Morphology ）的内容，是将数学形态学作为工具，从图像中提取对于表达和描述区域形状有用的图像分量。

膨胀 ：
图像集合A用结构元素B来膨胀，其定义为：
其中，B^表示B的映射，即与B关于自身原点对称的集合
腐蚀 ：
图像集合A用结构元素B来腐蚀，其定义为：
即B经过平移后全部包含在A中的原点的集合
开操作与关操作（Opening and Closing）：
开操作 ：用同一结构元对图像进行腐蚀后再膨胀的操作（可除去图像中比结构元小的所有区域的像素点）

关操作 ：用同一结构元对图像进行膨胀后再腐蚀的操作（可填满图像中比结构元小的空洞和凹状区）