计算机视觉特征提取与图像处理总结

关于经典的计算机视觉这一块，简单地总结一下，罗列一些知识点，方便以后的再学习或是查阅。之所以称它为经典的，主要是因为里面都是些传统的方法，相较于最近几年才发展起来的深度学习方法而言。

---

1. 绪论

2. 图像、采样、频域处理

2.1 灰度，颜色，分辨率，动态范围，存储等

关于采样，要先理解信号在频域中的解释，理解傅里叶变换。
采样标准：为了从样本重构原信号，采样频率必须至少是被采样信号最大频率的两倍。

2.2 离散傅里叶变换，其特性

平移、旋转、尺度变化，频域叠加（线性）。

2.3 除了傅里叶以外的其它变换

离散余弦变换
离散Hartley变换
小波变换
Walsh变换

2.4 滤波——频域特性的应用

3. 基本的图像处理运算

3.1 直方图

3.2 点运算

亮度映射：加法、反转、尺度变化、对数、指数。
亮度正规化，直方图均衡化，阈值处理和最优阈值处理。

3.3 群运算

模板卷积（包括频域实现）。统计算子：直接平均，高斯滤波，中值滤波，众数（截断中值）滤波。
直接平均：可以去除大量的噪声，但是使特征边界模糊；
高斯滤波：保留更多特性，但是与直接平均相比，几乎没有优势（噪声不是高斯分布的）；
中值滤波：保留一些噪声，但是得到清晰的边界特征；
截断中值滤波：去除更多噪声，但也去除更多的图像细节。
图像平滑处理的各向异性扩散。
力场变换。
数学形态学：击中或未击中变换，腐蚀，膨胀（包括灰度算子：腐蚀算子，膨胀算子，开算子，闭算子等），明科夫斯基算子。

4. 低级特征提取（包括边缘检测）（边缘检测、角点检测、运动检测）

4.1 边缘检测

一阶边缘检测算子
差分运算、Roberts交叉算子、平滑处理、Prewitt、Sobel、Canny等算子。
二阶边缘检测算子
二阶差分、Laplacian算子、过零点检测；Marr-Hildreth算子、Laplacian of Gaussian，高斯差分，尺度空间。
其它的边缘检测算子：Spacek算子，Petrou算子、Susan算子。
所有边缘算子的结果都是用滞后阈值处理来实现的。
对于拥有很大噪声的图像，Canny算子、Spacek算子相较于其它的算子表现要好些。

4.2 相位一致性

相位一致性方法是一个特征检测算子，主要有两个优点：

1. 可以检测大范围的特征；
2. 对局部（和平滑）光照变化具有不变性。

频域分析；检测一连串特征；光度不变性，小波。

4.3 定位特征提取（角点提取）

平面曲率；角点；Moravec和Harris检测器；尺度空间。
SIFT（尺度不变特征变换）
其具有尺度、旋转不变性。对光照变化也有一定的不变性。
SURF（加速的鲁棒特征）。
显著性算子。

4.4 描述图像运动

差分检测；光流，孔径问题，平滑约束；微分方法；Horn and Schunk方法；相关性。

5. 形状匹配的特征提取

5.1 阈值处理和背景减法（差分）

5.2 模板匹配

直接实现和傅里叶实现。

5.3 低级特征

收集低级特征进行目标提取；基于频率的和基于部件的方法；检测测量值的分布。
小波和Haar小波；SIFT和SURF描述；以及方向梯度的直方图。

5.4 霍夫变换

通过匹配进行特征提取；利用霍夫变换检测二次曲线，以及任意形状；不变性表达。

6. 高级特征提取：可变形形状分析

不具备目标形状（即特征）模型的知识；形状未知或形状的波动无法参数化。

6.1 可变形形状分析

可变形模板；能量最大化；基于部分的形状分析；

6.2 主动轮廓和蛇模型

曲线演变的能量最小化；贪心算法；Kass蛇模型。

6.3 形状骨架化

距离变换和形状骨架；平均轴变换；离散对称算子；对称点分布的证据累加。

6.4 主动形状模型

通过统计方法表达形状变化；利用特征提取获取形状变化。
主动形状模型；主动外观模型；主成分分析。

7. 目标描述

7.1 边界描述

边界和区域，如何确定边界及其所界定的区域，如何形成区域描述及其必要的特性？
基本方法：链码。傅里叶描述符：离散近似；累积角函数和椭圆傅里叶描述符。

7.2 区域描述符

如何描述形状的区域？
基本形状量度：面积；周长；紧凑度；分散性。
矩：基本矩；中心矩；不变矩；Zernike矩；特性及重构。

8. 纹理描述、分割和分类基础

8.1 纹理描述

什么是图像纹理，如何确定几组数值来识别纹理？
特征提取：傅里叶变换，共生矩阵，区域；
现代方法：局部二值模式（LPB）和均一LBP。
特征描述：能量，熵，惯性。

8.2 距离量度

距离量度：Manhattan城区和欧式（L1/L2距离），Mahalanobis，Bhattacharyya和余弦；构造、可视化和混淆矩阵。

8.3 纹理分类

如何将所得的数值与已知样本相联系？
k近邻法则，支持向量机及其它分类方法（与机器学习交叉的部分）。

8.4 纹理分割

如何在图像范围内找出纹理区域？
卷积计算，平铺处理，阈值处理。

9. 运动对象的检测与描述

9.1 运动对象提取

如何将运动对象从它们的背景中分离？
应用到背景图像估计的平均与中值滤波。通过减从背景分离。通过高斯混合与阈值化处理改善。
问题：颜色、光照和阴影。
使用膨胀与腐蚀；开、闭运算。连通组件分析。

9.2 运动对象跟踪

跟踪过程中实现时域一致性。建模线性系统动力学。
通过局部搜索进行跟踪；Lucas-Kanade方法；Kalman滤波；多目标跟踪；特征点与背景减的比较；Camshift与Meanshift方法。对象检测跟踪。

9.3 运动形状分析与描述

通过证据收集描述运动以及提取运动形状。添加速率与位移到形状描述；针对识别目的，描述运动目标。