图像处理知识点总结
2019.10.09更新……
图像：可以用矩阵表示，行列表示图像的长高，矩阵的元素值可以表示灰度值的大小。
图像深度：指存储每个像素所用的位数，例如：位深度为1的图像的像素有两个可能的值：白色或者黑色；如果为位深度为8，则有2^8=256种颜色或者灰度等级（一般情况下位深度取8够用了）。
区域：表示一幅图像中一个任意的像素子集，不就是ROI嘛？？？
一般图像处理过程：读图、灰度化、缩放、阈值找到ROI区域、构建滤波函数、在频域进行滤波然后转到时域、通过灰度变换（增强对比度）、通过阈值各种特征选择即可找出目标。
一、预处理
一般的预处理流程为：1灰度化->2几何变换->3图像增强。
1、灰度化：
灰度化，在RGB模型中，如果R=G=B时，则彩色表示一种灰度颜色，其中R=G=B的值叫灰度值，因此，灰度图像每个像素只需一个字节存放灰度值（又称强度值、亮度值），灰度范围为0-255（位深度为8时）。
- 分量法 ：将彩色图像中的三分量的亮度作为三个灰度图像的灰度值，可根据应用需要选取一种灰度图像。
- 最大值法：将彩色图像中的三分量亮度的最大值作为灰度图的灰度值。
- 平均值法：将彩色图像中的三分量亮度求平均得到一个灰度值。
- 加权平均法：根据重要性及其它指标，将三个分量以不同的权值进行加权平均。
2、几何变换：
图像几何变换又称为图像空间变换，通过平移、转置、镜像、旋转、缩放等几何变换对采集的图像进行处理，用于改正图像采集系统的系统误差和仪器位置（成像角度、透视关系乃至镜头自身原因）的随机误差。此外，还需要使用灰度插值算法，因为按照这种变换关系进行计算，输出图像的像素可能被映射到输入图像的非整数坐标上。通常采用的方法有最近邻插值、双线性插值和双三次插值。
3、图像增强：
增强图像中的有用信息，它可以是一个失真的过程，其目的是要改善图像的视觉效果，针对给定图像的应用场合，有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果，满足某些特殊分析的需要。（其实就是为了突出自己感兴趣的部分）图像增强算法可分成两大类：空间域法和频率域法。
- 空间域法：
空间域法是一种直接图像增强算法，分为点运算算法和邻域去噪算法。点运算算法即灰度级校正、灰度变换（又叫对比度拉伸）和直方图修正等。邻域增强算法分为图像平滑和锐化两种。平滑常用算法有均值滤波、中值滤波、空域滤波。锐化常用算法有梯度算子法、二阶导数算子法、高通滤波、掩模匹配法等。 - 频率域法：
频率域法是一种间接图像增强算法，常用的频域增强方法有低通滤波器和高通滤波器。低频滤波器有理想低通滤波器、巴特沃斯低通滤波器、高斯低通滤波器、指数滤波器等。高通滤波器有理想高通滤波器、巴特沃斯高通滤波器、高斯高通滤波器、指数滤波器。
空间滤波和频域滤波的对比：
前者空间域法中具有代表性的算法有局部求平均值法和中值滤波（取局部邻域中的中间像素值）法等，它们可用于去除或减弱噪声。
后者把图像看成一种二维信号，对其进行基于二维傅里叶变换的信号增强。采用低通滤波（即只让低频信号通过）法，可去掉图中的噪声；采用高通滤波法，则可增强边缘等高频信号，使模糊的图片变得清晰。
二、特征提取
模式识别中进行匹配识别或者分类器分类识别时，判断的依据就是图像特征。用提取的特征表示整幅图像内容，根据特征匹配或者分类图像目标。常见的特征提取算法主要分为以下3类：
- ①基于颜色特征：如颜色直方图、颜色集、颜色矩、颜色聚合向量等；
- ②基于纹理特征：如Tamura纹理特征、自回归纹理模型、Gabor变换、小波变换、MPEG7边缘直方图等；
- ③基于形状特征：如傅立叶形状描述符、不变矩、小波轮廓描述符等；
1、LBP特征提取算法：
原理：LBP的基本思想是定义于像素的8邻域中, 以中心像素的灰度值为阈值, 将周围8 个像素的值与其比较, 如果周围的像素值小于中心像素的灰度值, 该像素位置就被标记为0, 否则标记为1. 图像中的每一个像素都得到一个二进制组合, 这些组合作为特征就可以用来表示原始图像。
LBP（Local Binary Patterns，局部二值模式）是提取局部特征作为判别依据的，为一种有效的纹理描述算子，度量和提取图像局部的纹理信息，对光照具有不变性。有多种改进型，LBP结合BP神经网络已经用于人脸识别等领域。
改进：
- 改进的圆形邻域LBP：为了适应不同尺度的纹理特征, 并达到灰度不变性的要求, 相关学者对 LBP 算子进行了改进, 将 3×3邻域扩展到任意邻域, 并用圆形邻域代替了正方形邻域。这样如果一个在圆上的点不在图像坐标上, 用它周围的像素值内插得到。
- 旋转不变LBP：从 LBP 的定义可以看出, LBP 算子是灰度不变的, 但却不是旋转不变的. 图像的旋转就会得到不同的 LBP值。有关学者将 LBP 算子进行了扩展, 提出了具有旋转不变性的 LBP 算子， 即不断旋转圆形邻域得到一系列初始定义的 LBP 值, 取其最小值作为该邻域的 LBP 值。
应用：LBP主要应用在纹理分类、人脸分析等。LBP特征提取结果还是大小相同的一幅图像，但一般都不直接将LBP图谱作为特征向量用于分类识别，而是采用LBP特征谱的统计直方图作为特征向量用于分类识别。
2、HOG特征提取算法：
原理：所检测的局部物体外形能够被光强梯度或边缘方向的分布所描述（本质：梯度的统计信息，而梯度主要存在于边缘的地方），HoG算法提取的是图像各个像素梯度的统计直方图，一般会将这些梯度直方图转化成一个向量，用于分类器的训练输入。
方向梯度直方图（Histogram of Oriented Gradient, HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。
应用：Hog特征结合SVM分类器已经被广泛应用于图像识别中，尤其在行人检测中获得了极大的成功。需要提醒的是，HOG+SVM进行行人检测的方法是法国研究人员Dalal在2005的CVPR上提出的，而如今虽然有很行人检测算法不断提出，但基本都是以HOG+SVM的思路为主。
不变性：具有光照不变性，不具有尺寸和旋转不变性。
3、Haar特征提取算子：（参考）
原理：haar特征分成了四类：边缘特征、线性特征、中心特征和对角线特征，这些特征组成了特征模板。这些模板的特征值的组合就是白色矩形区域像素值之和减去黑色矩形像素和。haar特征值反映了图像的灰度变化情况。
应用：人脸检测
4、Harris角点特征提取算法：（参考）
在现实世界中，角点对应于物体的拐角，道路的十字路口、丁字路口等。从图像分析的角度来定义角点可以有以下两种定义：
- 角点可以是两个边缘的角点；
- 角点是邻域内具有两个主方向的特征点；
原理：使用一个固定窗口在图像上进行任意方向上的滑动，比较滑动前与滑动后两种情况，窗口中的像素灰度变化程度，如果存在任意方向上的滑动，都有着较大灰度变化，那么我们可以认为该窗口中存在角点。如果只在一个方向上有着较大的变化，则可能是一条直线。
5、DoG特征提取算法：
原理： DOG（Difference of Guassian）：简称 高斯函数的差分，将两幅图像在不同参数下的高斯滤波结果相减，得到DoG图。是一阶边缘提取。
通过将图像与高斯函数进行卷积得到一幅图像的低通滤波结果，即去噪过程，这里的Gaussian和高斯低通滤波器的高斯一样，是一个函数，即为正态分布函数。
6、LoG特征提取算法：
原理：LoG（Laplacian of Gaussian）：简称 高斯-拉普拉斯，Laplace算子对通过图像进行操作实现边缘检测的时，对离散点和噪声比较敏感。于是，首先对图像进行高斯卷积滤波进行降噪处理，再采用Laplace算子进行边缘检测，就可以提高算子对噪声抗干扰能力, 是二阶边缘提取。
7、SIFT特征提取算子：（参考）
原理：是一种检测局部特征的算法，该算法通过求一幅图中的特征点及其有关尺寸和方向的描述子得到特征并进行图像特征点匹配，获得了良好效果。每个特征点的SIFT特征是128维向量，因此计算量巨大。不变性：具有尺寸和旋转不变性。
改进：PCA-SIFT，如名称所说“主成分SIFT特征”，主要提取了128维特征向量中的20个特征，大大减少了计算。
8、SURF特征提取算法：（参考）
SURF是SIFT角点检测算法的改进版，主要体现在速度上，SURF是SIFT速度的3倍。SIFT在尺度和旋转变换的情况下匹配效果比SURF好，而SURF在亮度变化下匹配效果比较好。
Sift采用的是DOG图像，而surf采用的是Hessian矩阵行列式近似值图像。
9、待续……
三、图像处理常见问题汇总
1、常用的图像插值方法？
- 最邻近插值：在待求象素的四邻象素中，将距离待求象素最近的邻象素灰度赋给待求象素；
- 双线性插值：双线性内插法是利用待求象素四个邻象素的灰度在两个方向上作线性内插；具有低通滤波性质，使高频分量受损，图像轮廓可能会有一点模糊。
- 三次内插法：利用三次多项式进行逼近插值函数，计算量大，效果最好。
2、常用的图像压缩方法？
- 冗余度压缩方法：（无损压缩），在数学上可逆：哈夫曼编码-算术编码-行程编码-Lempel-zev 编码
- 信息量压缩方法：（有损压缩），解码图像与原始图像有差：预测编码-频率域方法（正交变换编码如DCT、子带编码）-空间域方法（统计分块编码）-模型方法（分形编码、模型编码）-基于重要性（粒子、子采样、比特分配、矢量量化）
3、HSI是什么？
- 用色调（H）、饱和度（S）、亮度（I）来描述物体的颜色；
- 这种彩色描述对人来说是自然而直观的。
4、腐蚀、膨胀、开运算、闭运算、数学形态学梯度？
- 腐蚀(erode)：通过结构元素与覆盖的图像元素进行 and 操作，即都为1时结果图像才为1，否则为0。（作用：二值图像向内缩小一圈。）
- 膨胀(dilate)：通过结构元素与覆盖的图像元素进行 or 操作，即存在1时结果图像就为1，否则为0。（作用：二值图像向外扩增一圈。）
- 开运算(opening) ：先腐蚀后膨胀；（作用：保持目标原有大小不变，通常用于去除小粒噪声）
- 闭运算(closing) ：先膨胀后腐蚀，（作用：保持目标原有大小不变，通常用于消除内部细小空洞）
- 数学形态学梯度：=图像膨胀 - 图像腐蚀，（作用：获取到图像的边缘）