图像处理与机器学习【北交慕课】

第一章 绪论

1. 基本概念

1. 视觉与图像成像：

• 人类视觉具有多义性、错觉等特点。人眼在观察均匀黑区与白区形成的边界时有暗区更暗，亮区更亮的感觉，更黑更亮的带叫做Mach带
• 机器视觉：通过电子化感知和理解（数字）图像，以模拟、模仿人类视觉系统

2. 图像感知与获取：

照射源不同，形成的图像不同

• 照射源：具有能量的电磁波，波长不一样，能量不一样

3. 图像采样与量化：

• 模拟图像：通过某种连续物理量，比如光或电等的强弱变化来记录图像亮度信息
• 数字图像：采用数字表示方式记录图像亮度信息，使用计算机存储与处理。数字图像可通过模拟图像采样和量化得到

模拟图像采样

数字图像栅格化采样和量化

• 采样：使用空间分辨率来表示采样的精度。空间分辨率为衡量将模拟图像转化为数字图像的空间精度。

采样间隔越大图像越模糊

• 量化：使用亮度分辨率来衡量图像亮度的量化精度。

灰度级为2时，图像非黑即白

4. 图像存储与格式

• 数字图像格式：文件存放在记忆卡上的格式、压缩方式，如BMP、JPEG、GIF、PNG等

数字图像存储比特数计算

• BMP格式：采用为映射存储格式，与硬件设备无关，处理色彩分辨率可选以外，不采用其他任何压缩。按从左到右、从下到上的顺序扫描。
• JPEG格式：采用有损压缩去除图像数据中的冗余信息，可在获取极高的压缩率的同时保持图像质量。
• PNG格式：便携式网络图像格式，存储量相对小，压缩比高

JPEG格式图像可在获取极高的压缩率的同时保持图像质量

2. 图像直方图

• 直方图定义

如何描述图像

灰度直方图

2. 直方图的性质

灰度直方图反映了图像灰度的分布（统计）特征

灰度直方图累加得到图像中像素的总个数

灰度直方图归一化即为灰度级出现的概率

一副图像具有特定唯一的直方图，但反之不一定成立，因为灰度直方图只考虑了每一灰度级出现的次数

3. 直方图的应用

• 图像增强：使用直方图均衡
• 图像分割：根据直方图获取分隔阈值
• 图像分类：直方图对比

第二章 图像增强–空间域

2.1 引言

1. 为什么要进行图像增强：因视觉效果不佳；噪声污染；难以分析理解等原因，需要改善图像的视觉效果，使得图像更适于分析
2. 图像增强：按照特定的需要突出或去除图像中的某些信息。图像增强没有增加图像中的信息量，有可能还会损失，且没有特定的标准。
3. 如何增强：

• 灰度变换：使人眼视觉敏感区拥有多个像素
  
• 代数运算
• 空间域滤波
• 频域滤波
  
  

2.2 灰度变换

1. 线性变换
   分段线性变换
   
2. 非线性变换：

• 对数变换
  
• 幂次变换
  
  
  幂次变换的窄带拉伸：У <=的情况，适用于将低灰度输入图像变换为宽带输出图像
  
  

2.3 直方图均衡

1. 公式推导

空间域增强

变换前后灰度直方图的关系

2. 如何解决以下问题？
   

数理推导

推导结果：其中 $H_A$ 是离散的

计算示例：

3. 直方图均衡应用：人脸识别
   将一组人脸图像的像素进行直方图均衡后再识别
   

2.4 代数运算

1. 加法运算
   
2. 减法运算
   
   将人的区域分割出来
   
3. 乘法运算
   

2.5 空间域滤波

• 系统：接收输入，产生输出
• 分析：输入与输出之间的对应关系
  若求$y(j,i)$是通过以下公式的话，称此方法为空间域滤波

1. 一维均值滤波器
   
2. 二维均值滤波器
   
   图像均值滤波器
   
3. 高斯滤波器：对中心滤波点做了加权
   
4. 图像滤波器应用：
   去除噪声
   
   提取感兴趣物体
   
   低通滤波器使得图像更加平滑

2.6 空间域滤波中值滤波

1. 中值滤波器：每三位就取中间值，这样既可以去除噪声，又可以保留边缘。这使得图像更突出亮或暗的点，让像素点更接近它周边的点，并消除孤立的亮点或暗点
   

2.7 空间滤波高通

• 图像锐化：通过微分运算（低通为积分运算以平滑图像）突出图像的细节特征并增强图像模糊的边缘
• 基于梯度的图像增强方法：将原始图像与边缘图像叠加

1. 基于一阶差分的图像增强
   
   Robert算子
   
   Prewitt算子
   
   示例：
   
   sobel算子：对中间点进行加权
   
2. 基于二阶差分的图像增强
   
   Laplace算子
   
3. 一阶差分算子和二阶差分算子的区别
   
4. 一阶差分算子和二阶差分算子的比较
   
   实际使用哪一个算子需要视情况而定

第二章 图像增强-频域

2.8 二维傅里叶变换定义

1. 频域滤波：连续周期信号可以表示为一系列不同频率的正弦波的线性叠加
   
2. 连续时间非周期信号的傅里叶变换
   
3. 一维离散信号傅里叶变换
   
4. 二维离散信号傅里叶变换
   
   其中
   
   变换示例：
   
5. 数字图像傅里叶变换特点

2.9 二维傅里叶变换性质

1. 平移特性：频谱转移到中心点
2. 旋转特性：在空间域图像旋转${\Theta }_0$，频谱同样旋转${\Theta }_0$
3. 尺度变换（缩放）
4. 卷积特性：时域或空间域的卷积对应频域的乘积，时域或空间域的乘积对应频域的卷积
5. 相关性质
   
6. 分离性质
   
   

2.10 频域滤波低通

1. 原理
   
2. 理想低通滤波器
   
   $D_0值不同时的效果$
   
   因为人脸含有更多的高频细节，故低通滤波后将变模糊
   
3. 振铃现象
   
4. Butterworth低通滤波器：2阶的Butterworth低通滤波器有效低通，振铃现象可忽略
5. 高斯低通滤波：随着截止频率提高，保留的高频成分越多，且无振铃现象。但不能达到相同截止频率的Butterworth低通滤波器的平滑效果。
6. 低通滤波应用：在有栅格影响图像时过滤栅格；人脸去皱纹；文本中字符失真和断裂的修复

2.11 频域滤波高通

1. 定义：高频成分铜鼓，去除低频成分。图像中边缘等区域被增强
2. 理想高通滤波器：振铃现象严重
3. Butterworth高通滤波器：有轻微振铃现象
4. 高斯高通滤波器：无振铃现象，通常效果比理想高通和Butterworth高通更平滑

2.12 频域滤波同态滤波

1. 作用：基于图像成像模型，在频域压缩灰度动态范围增强对比度。
   人眼主要看的是反射分量，即$R(x,y)$
   
   
2. 基于Retinex滤波方法
   

第三章 图像形态学处理

3.1 基本概念

• 数学形态学：建立在集合代数的基础上，用集合论方法定量描述目标几何结构的学科
• 图像数学形态学处理：以形态为基础对图像进行分析的数学工具，用具有一定形态的结构元素度量和提取图像中的对应形状，以达到对图像分析和识别的目的。
• 集合论：交、并、补、差、平移

3.2 数学形态学处理

• 膨胀：$A$被$B$膨胀的定义为，对$B$的反射$\hat{B}$进行平移，使之与A的交集不为空的点的集合。它将与物体接触所有背景点合并到该物体中，使边界向外部扩张的过程，可以用来填补物体中的空洞
  

• 腐蚀：$A$被$B$腐蚀的定义为，将$B$平移$z$之后，$(B{)}_z$被包含在A的点的集合。它主要消除边界点，使边界向内部收缩，用来消除小且无意义的物体
  

• 腐蚀和膨胀的应用：检测特定像素大小的结构元素，使用腐蚀消除图像的细节部分，产生滤波器的作用。

• 二值图像的逻辑运算：或运算对应膨胀，与运算对应腐蚀

3.3 图像形态学处理应用

• 开运算：先腐蚀再膨胀。用来消除小物体、在纤细处分离物体。平滑较大物体的边界同时并不明显改变其面积。
  
  
• 闭运算：先膨胀再腐蚀。用来填充物体内细小空洞，连接近邻物体，平滑其边界的同时并不明显改变其面积
  
  
• 开闭运算的运用：边界提取；识别物体形状（击中击不中变换：用两个结构元素分别探测图像内部和外部，从而确定物体形状）

第四章 图像分割

4.1 引言

1. 为什么进行图像分割：先找到感兴趣区域，再分析感兴趣区域
2. 什么是图像分割：将图像划分为若干互不相交的小区域。其中，区域为具有共同属性的像素的连通集合；属性包括灰度、颜色、纹理和同一个模式

4.2 基于阈值的分割算法

• 阈值选取：直方图技术、最小误差阈值法，最大方差阈值法

1. 直方图技术：峰谷分割；采用全局阈值的分割方法；直方图均衡法（双阈值法实现肝脏区域分割）
   
2. 最小误差阈值法
3. 最大方差阈值法（大津阈值法）：算法可操作性强，直方图是否有双峰均可得到满意效果

4.3 基于边缘的分割算法

• 应用：点检测、线检测、边缘检测

• 边缘提取方法：使用一阶或二阶导数；图像高通滤波器（保留高频部分），包括多个算子
  

• Canny算子：
  

4.4 霍夫变换

1. 问题及解决方法：

• 问题：由于噪声、照明等产生边缘间断，使得一组像素难以完整形成边缘，及此时的边界点是不连续的。
• 解决方法：这时就需要连接边界点已构成完整的边界图形描述。即对于边界山的n个点的点集，求共线的点集以及直线方程。

2. Hough变换：在参数平面中相交直线最多的点，对应的$x$，$y$平面的直线即为所求的直线

4.5 基于区域的分割算法

• 定义：利用图像像素的空间性质分割出有相似性质属于同一个区域的像素。通常有区域生长法和分裂合并法两种。
  

1. 区域生长法
   

• 如何确定种子像素：人机交互式分割（医学图像）、基于直方图分割结果
• 如何确定种子像素之间相似性：基于区域灰度差（阈值选取不对会有欠分割和过分割两种现象）、基于区域灰度分布统计性质
  

2. 区域分裂合并法
   
   示例：
   

第五章 贝叶斯决策

5.1 人工智能

1. 图灵测试、中国屋思考实验：即使通过图灵测试也不能证明计算机具有思维能力
2. 人工智能发展的里程碑：

• 大规模知识库、知识搜索、并行分布式计算
• 深度神经网络、强化学习、蒙特卡洛树搜索

5.2 机器学习

5.3-5.4 贝叶斯公式

• 最小错误决策
• 最小风险决策
  注：两者在0-1情况下的结果相同

5.6-5.7 判别函数

• 参数法：极大似然函数
• 非参数法

第六章 神经网络

6.1 人工神经网络

主要方法

6.2 单层神经网络（单层感知机）

使用的是线性分类函数
Hebb学习规则

6.3 多层神经网络

使用的非线性函数