图像处理与识别学习小结
图像处理与识别学习小结
数字图像处理是对图像进行分析、加工、和处理，使其满足视觉、心理以及其他要求的技术。图像处理是信号处理在图像域上的一个应用。目前大多数的图像是以数字形式存储，因而图像处理很多情况下指数字图像处理。此外，基于光学理论的处理方法依然占有重要的地位。 数字图像处理是信号处理的子类， 另外与计算机科学、人工智能等领域也有密切的关系。 传统的一维信号处理的方法和概念很多仍然可以直接应用在图像处理上，比如降噪、量化等。然而，图像属于二维信号，和一维信号相比，它有自己特殊的一面，处理的方式和角度也有所不同。大多数用于一维信号处理的概念都有其在二维图像信号领域的延伸，它们中的一部分在二维情形下变得十分复杂。同时图像处理也具有自身一些新的概念，例如，连通性、旋转不变性，等等。这些概念仅对二维或更高维的情况下才有非平凡的意义。图像处理中常用到快速傅立叶变换，因为它可以减小数据处理量和处理时间。
数字图像处理应用在以下方面 ：
摄影及印刷 (Photography and printing)
卫星图像处理 (Satellite image processing)
医学图像处理 (Medical image processing)
面孔识别, 特征识别 (Face detection, feature detection, face identification)
显微图像处理 (Microscope image processing)
汽车障碍识别 (Car barrier detection)
数字图像基础
图像的基本概念、图像取样和量化、数字图像表示、空间和灰度级分辨率、图像纹理、像素间的一些基本关系（相邻像素、邻接性、连通性、区域和边界、距离度量）、线性和非线性变换。
线性变换：如果变换函数是线性的或是分段线性，这种变换就是线性变换。以线性函数加大图像的对比度的效果是使整幅图像的质量改善。以分段线性函数加大图像中某个（或某几个）亮度区间的对比度的效果是使局部亮度区间的质量得到改善。
非线性变换：当变换函数是非线性时，即为非线性变换。常用的有指数变换和对数变换。
RGB (red green blue): 红绿蓝三基色
CMYK (Cyan-Magenta-Yellow-black inK): 青色-品红-黄色-黑色
HSI (Hue-Saturation-Intensity): 色调-饱和度-强度
DDB (device-dependent bitmap): 设备相关位图
DIB (device-independent bitmap): 设备无关位图
CVBS (Composite Video Broadcast Signal): 复合电视广播信号
YUV（亦称Y Cr Cb）是被欧洲电视系统所采用的一种颜色编码方法（属于PAL制）。
数字图像存储与显示
图像格式
在计算机中，有两种类型的图：矢量图(vector graphics)和位映象图(bitmapped graphics)。矢量图是用数学方法描述的一系列点、线、弧和其他几何形状，如图(a)所示。因此存放这种图使用的格式称为矢量图格式，存储的数据主要是绘制图形的数学描述；位映象图(bitmapped graphics)也称光栅图(raster graphics)，这种图就像电视图像一样，由象点组成的，如图(b)，因此存放这种图使用的格式称为位映象图格式，经常简称为位图格式，存储的数据是描述像素的数值。
矢量图与位映象图
目前包括bmp格式、gif格式、jpeg格式、jpeg2000格式、tiff格式、psd格式、
Png格式、swf格式、svg格式、pcx格式、dxf格式、wmf格式、emf格式、LIC格式、eps格式、TGA格式。
目前比较出名的图像处理库有很多，比如LEADTOOLS、OPENCV，LEADTOOLS这个是功能非常强大的图像多媒体库，但是这个是收费注册的。OpenCV 是一个跨平台的中、高层 API 构成，目前包括 300 多个 C 函数。它不依赖与其它的外部库，尽管也可以使用某些外部库。OpenCV 对非商业用途和商业用途都是免费（FREE）的。开源的图像库也有不少，比如：
ImageStone、GIMP、CxImage等，虽然它们的功能没有LEADTOOLS强大，但是一般的图像处理是可以应付的。
具体的功能介绍参考：http://blog.csdn.net/byxdaz/archive/2009/03/09/3972293.aspx
OpenCV源代码及文档下载：SOURCEFORGE.NET
http://sourceforge.net/projects/opencvlibrary/
数字图像增强
图像增强的目的在于改善图像的显示质量，以利于信息的提取和识别。从方法上说，则是设法摒弃一些认为不必要或干扰的信息，而将所需要的信息得以突出出来，以利于分析判读或作进一步的处理。以下介绍几种较为简单的遥感数字图像增强处理方法。
A空间域增强处理
空间域是指图像平面所在的二维空间，空间域图像增强是指在图像平面上应用某种数学模型，通过改变图像像元灰度值达到增强效果，这种增强并不改变像元的位置。空域增强包括空域变换增强与空域滤波增强两种。空域变换增强是基于点处理的增强方法、空域滤波增强是基于邻域处理的增强方法。
1）、空域变换增强
常用的空域变换增强方法包括：对比度增强、直方图增强和图像算术运算等。
对比度增强是一种通过改变图像像元的亮度分布态势，扩展灰度分布区间来改变图像像元对比度，从而改善图像质量的图像处理方法。因为亮度值是辐射强度的反映，所以也称为辐射增强。常用的方法有对比度线性变换和非线性变换。其关键是寻找到一个函数，以此函数对图像中每一个像元进行变换，使像元得到统一的重新分配，构成得到反差增强的图像。
直方图增强
直方图均衡化
直方图均衡化基本做法是将每个灰度区间等概率分布代替了原来的随机分布，即增强后的图象中每一灰度级的像元数目大致相同。直方图均衡化可使得面积最大的地物细节得以增强，而面积小的地物与其灰度接近的地物进行合并，形成综合地物。减少灰度等级换取对比度的增大。
直方图归一化
直方图归一化是把原图像的直方图变换为某种指定形态的直方图或某一参考图像的直方图，然后按着已知的指定形态的直方图调整原图像各像元的灰级，最后得到一个直方图匹配的图像。这种方法主要应用在有一幅很好的图像作为标准的情况下，对另一幅不满意的图像用标准图像的直方图进行匹配处理，以改善被处理图像的质量。如在数字镶嵌时，重叠区影像色调由于时相等原因差异往往很大，利用直方图匹配这一方法后可以改善重叠区影像色调过度，如果镶嵌图像时相相差不大，完全可以作到无缝镶嵌。
数字图像的算术运算
两幅或多幅单波段影像，完成空间配准后，通过一系列运算，可以实现图像增强，达到提取某些信息或去掉某些不必要信息的目的。
2）、空域滤波增强
空域变换增强是按像元逐点运算的，从整体上改善图像的质量，并不考虑周围像元影响。空间滤波增强则是以重点突出图像上的某些特征为目的的（如突出边缘或纹理等），通过像元与周围相邻像元的关系，采取空间域中的邻域处理方法进行图像增强。邻域法处理用于去噪声、图像平滑、锐化和相关运算。
图像卷积运算是在空间域上对图像作局部检测的运算，以实现平滑和锐化的目的。具体作法是选定一卷积函数，又称为“M×N窗口”或“模板”，如3×3或5×5等。然后从图像左上角开始开一与模板同样大小的活动窗口，图像窗口与模板像元的亮度值对应相乘再相加。将计算结果赋予中心像元作为其灰度值，然后待移动后重新计算，将计算结果赋予另一个中心像元，以此类推直到全幅图像扫描一遍结束生成新的图像。
平滑是指图像中出现某些亮度变化过大的区域，或出现不该有的亮点（“噪声”）时，采用平滑方法可以减小变化，使亮度平缓或去掉不必要“噪声”点。它实际上是使图像中高频成分消退，即平滑图像的细节，降低其反差，保存低频成分，在频域中称为低通滤波。具体方法有：均值平滑、中值滤波、锐化。
锐化的作用在于提高边缘灰度值的变化率，使界线更加清晰。它是增强图像中的高频成分，在频域处理中称为高通滤波，也就是使图像细节的反差提高，也称边缘增强。要突出图像的边缘、线状目标或亮度变化率大的部分常采用锐化方法。一般有三种实现方法：
（1）梯度法
梯度反映了相邻像元的亮度变化率，即图像中如果存在边缘，如湖泊、河流的边界，山脉和道路等，则边缘处有较大的梯度值。对于亮度值较平滑的部分，亮度梯度值较小。因此，找到梯度较大的位置，也就找到边缘，然后再用不同的梯度计算值代替边缘处像元的值，也就突出了边缘，实现了图像的锐化。通常有罗伯特梯度和索伯尔梯度方法。
（2）拉普拉斯算法
拉普拉斯算法的意义与梯度法不同，它不检测均匀的亮度变化，而是检测变化率的变化率，相当于二阶微分。计算出的图像更加突出亮度值突变的位置。
（3）定向检测
当有目的地检测某一方向的边、线或纹理特征时，可选择特定的模板卷积运算作定向检测。可以检测垂直边界、水平边界和对角线边界等，各使用的模板不同
B、频率域图像增强处理
频域增强指在图像的频率域内，对图像的变换系数（频率成分）直接进行运算，然后通过Fourier逆变换以获得图像的增强效果。
一般来说，图像的边缘和噪声对应Fourier变换中的高频部分，所以低通滤波能够平滑图像、去除噪声。
图像灰度发生聚变的部分与频谱的高频分量对应，所以采用高频滤波器衰减或抑制低频分量，能够对图像进行锐化处理。
频域，就是由图像f(x,y)的二维傅立叶变换和相应的频率变量(u,v)的值所组成的空间。在空间域图像强度的变化模式（或规律）可以直接在该空间得到反应。F(0,0)是频域中的原点，反应图像的平均灰度级，即图像中的直流成分；低频反映图像灰度发生缓慢变化的部分；而高频对应图像中灰度发生更快速变化的部分，如边缘、噪声等。但频域不能反应图像的空间信息。
二维DFT及其反变换、Fast FT
关于这方面的内容需要参考数学知识。
空域和频域滤波间的对应关系：
卷积定理是空域和频域滤波的最基本联系纽带。二维卷积定理：
基本计算过程：
- 取函数h(m,n)关于原点的镜像，得到h(-m,-n)
- 对某个(x,y),使h(-m,-n)移动相应的距离，得到h(x-m,y-n)
- 对积函数f(m,n)h(x-m,y-n)在(m,n)的取值范围内求和
- 位移是整数增量，对所有的(x,y)重复上面的过程，直到两个函数：f(m,n)和h(x-m,y-n)不再有重叠的部分。
傅立叶变换是空域和频域的桥梁，关于两个域滤波的傅立叶变换对：
频域与空域滤波的比较：
1. 对具有同样大小的空域和频率滤波器：h(x,y), H(u,v)，频域计算(由于FFT)往往更有效(尤其是图像尺寸比较大时）。但对在空域中用尺寸较小的模板就能解决的问题，则往往在空域中直接操作。
2. 频域滤波虽然更直接，但如果可以使用较小的滤波器，还是在空域计算为好。 因为省去了计算傅立叶变换及反变换等步骤。
3. 由于更多的直观性，频率滤波器设计往往作为空域滤波器设计的向导。
平滑的频率域滤波器类型
1、理想低通滤波器
2、巴特沃思低通滤波器
3、高斯低通滤波器
频率域锐化滤波器类型
1理想高通滤波器
2巴特沃思高通滤波器
3高斯型高通滤波器
4频率域的拉普拉斯算子
5钝化模板、高频提升滤波和高频加强滤波
频率域图像增强处理的过程：
图像复原
图像复原：试图利用退化过程的先验知识，去恢复已被退化图像的本来面目。
图像复原的基本思路：先建立退化的数学模型，然后根据该模型对退化图像进行拟合。
图像复原模型可以用连续数学和离散数学处理，处理项的实现可在空间域卷积，或在频域相乘。
参考资料：
http://download.csdn.net/source/1513324
边缘检测
数字图像的边缘检测是图像分割、目标区域的识别、区域形状提取等图像分析领域十分重要的基础，图像理解和分析的第一步往往就是边缘检测，目前它以成为机器视觉研究领域最活跃的课题之一，在工程应用中占有十分重要的地位。所谓边缘就是指图像局部亮度变化最显著的部分，它是检测图像局部变化显著变化的最基本的运算。边缘的记录有链码表和线段表2种，链码表适合计算周长，线段表容易计算面积以及相关的，他们之间可以相互的转换。
常见的边缘检测算法：
Roberts边缘检测算子
Sobel边缘算子
Prewitt边缘算子
Kirsch边缘算子
CANNY边缘检测
图像压缩
图像压缩是数据压缩技术在数字图像上的应用，它的目的是减少图像数据中的冗余信息从而用更加高效的格式存储和传输数据。图像压缩可以是有损数据压缩也可以是无损数据压缩。对于如绘制的技术图、图表或者漫画优先使用无损压缩，这是因为有损压缩方法，尤其是在低的位速条件下将会带来压缩失真。如医疗图像或者用于存档的扫描图像等这些有价值的内容的压缩也尽量选择无损压缩方法。有损方法非常适合于自然的图像，例如一些应用中图像的微小损失是可以接受的（有时是无法感知的），这样就可以大幅度地减小位速。
无损图像压缩方法有：
行程长度编码
熵编码法
LZW算法
有损压缩方法有：
将色彩空间化减到图像中常用的颜色。所选择的颜色定义在压缩图像头的调色板中，图像中的每个像素都用调色板中颜色索引表示。这种方法可以与 抖动(en:dithering)一起使用以模糊颜色边界。
色度抽样，这利用了人眼对于亮度变化的敏感性远大于颜色变化，这样就可以将图像中的颜色信息减少一半甚至更多。
变换编码，这是最常用的方法。首先使用如离散余弦变换（DCT）或者小波变换这样的傅立叶相关变换，然后进行量化和用熵编码法压缩。
分形压缩（en:Fractal compression）。
形态学图像处理
膨胀与腐蚀
膨胀
腐蚀
开操作与闭操作
击中或击不中变换
一些基本的形态学算法
边界提取
区域填充
连通分量的提取
凸壳
细化
粗化
骨架
裁剪
图像分割
图像分割是指通过某种方法，使得画面场景中的目标物被分为不同的类别。通常图像分割的实现方法是，将图像分为“黑”、“白”两类，这两类分别代表了两个不同的对象。
图像分割方法：阈值分割、区域分割、数学形态学、模式识别方法
A、阈值分割包括以下几种：
（1）由直方图灰度分布选择阈值
（2）双峰法选择阈值
（3）迭代法选取阈值
原理如下，很好理解。
迭代法是基于逼近的思想，其步骤如下：
1． 求出图象的最大灰度值和最小灰度值，分别记为ZMAX和ZMIN，令初始阈值T0=(ZMAX+ZMIN)/2；
2． 根据阈值TK将图象分割为前景和背景，分别求出两者的平均灰度值ZO和ZB；
3． 求出新阈值TK+1=(ZO+ZB)/2；
4． 若TK=TK+1，则所得即为阈值；否则转2，迭代计算。
（4 ）大津法选择阈值
大津法是属于最大类间方差法，它是自适应计算单阈值的简单高效方法，或者叫（Otsu）
大津法由大津于1979年提出，对图像Image，记t为前景与背景的分割阈值，前景点数占图像比例为w0，平均灰度为u0；背景点数占图像比例为w1，平均灰度为u1。图像的总平均灰度为：u=w0*u0+w1*u1。从最小灰度值到最大灰度值遍历t，当t使得值g=w0*(u0-u)2+w1*(u1-u)2 最大时t即为分割的最佳阈值。对大津法可作如下理解：该式实际上就是类间方差值，阈值t分割出的前景和背景两部分构成了整幅图像，而前景取值u0，概率为 w0，背景取值u1，概率为w1，总均值为u，根据方差的定义即得该式。因方差是灰度分布均匀性的一种度量,方差值越大,说明构成图像的两部分差别越大, 当部分目标错分为背景或部分背景错分为目标都会导致两部分差别变小，因此使类间方差最大的分割意味着错分概率最小。直接应用大津法计算量较大，因此一般采用了等价的公式g=w0*w1*(u0-u1)2。
（5）由灰度拉伸选择阈值
大津法是较通用的方法，但是它对两群物体在灰度不明显的情况下会丢失一些整体信息。因此为了解决这种现象采用灰度拉伸的增强大津法。在大津法的思想上增加灰度的级数来增强前两群物体的灰度差。对于原来的灰度级乘上同一个系数，从而扩大了图像灰度的级数。试验结果表明不同的拉伸系数，分割效果差别比较大。
B、区域的分割
区域生长、区域分离与合并
区域生长算法
C、基于形态学分水岭的分割
分水岭分割算法
图像特征提取与匹配
常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。
A 颜色特征
特点：颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。
常用的特征提取与匹配方法：
颜色直方图
其优点在于：它能简单描述一幅图像中颜色的全局分布，即不同色彩在整幅图像中所占的比例，特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像。其缺点在于：它无法描述图像中颜色的局部分布及每种色彩所处的空间位置，即无法描述图像中的某一具体的对象或物体。
颜色直方图特征匹配方法：直方图相交法、距离法、中心距法、参考颜色表法、累加颜色直方图法。
B 纹理特征
纹理特征的提取方法比较简单，它是用一个活动的窗口在图像上连续滑动，分别计算出窗口中的方差、均值、最大值、最小值及二者之差和信息熵等，
形成相应的纹理图像，当目标的光谱特性比较接近时，纹理特征对于区分目标可以起到积极的作用。选取适当的数据动态变化范围，进行纹理特征提取后，使影像的纹理特征得到突出，有利于提取构造信息。
特点：纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。但由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法匹配成功。作为一种统计特征，纹理特征常具有旋转不变性，并且对于噪声有较强的抵抗能力。但是，纹理特征也有其缺点，一个很明显的缺点是当图像的分辨率变化的时候，所计算出来的纹理可能会有较大偏差。另外，由于有可能受到光照、反射情况的影响，从2-D图像中反映出来的纹理不一定是3-D物体表面真实的纹理。
常用的特征提取与匹配方法：
纹理特征描述方法分类
（1）统计方法统计方法的典型代表是一种称为灰度共生矩阵的纹理特征分析方法Gotlieb 和 Kreyszig 等人在研究共生矩阵中各种统计特征基础上，通过实验，得出灰度共生矩阵的四个关键特征：能量、惯量、熵和相关性。统计方法中另一种典型方法，则是从图像的自相关函数（即图像的能量谱函数）提取纹理特征，即通过对图像的能量谱函数的计算，提取纹理的粗细度及方向性等特征参数
（2）几何法
所谓几何法，是建立在纹理基元（基本的纹理元素）理论基础上的一种纹理特征分析方法。纹理基元理论认为，复杂的纹理可以由若干简单的纹理基元以一定的有规律的形式重复排列构成。在几何法中，比较有影响的算法有两种：Voronio 棋盘格特征法和结构法。
（3）模型法
模型法以图像的构造模型为基础，采用模型的参数作为纹理特征。典型的方法是随机场模型法，如马尔可夫（Markov）随机场（MRF）模型法和 Gibbs 随机场模型法
（4）信号处理法
纹理特征的提取与匹配主要有：灰度共生矩阵、Tamura 纹理特征、自回归纹理模型、小波变换等。
灰度共生矩阵特征提取与匹配主要依赖于能量、惯量、熵和相关性四个参数。Tamura 纹理特征基于人类对纹理的视觉感知心理学研究，提出6种属性，即
：粗糙度、对比度、方向度、线像度、规整度和粗略度。自回归纹理模型（simultaneous auto-regressive, SAR）是马尔可夫随机场（MRF）模型的一种应用实例。
C形状特征
特点：各种基于形状特征的检索方法都可以比较有效地利用图像中感兴趣的目标来进行检索，但它们也有一些共同的问题，
常用的特征提取与匹配方法：
通常情况下，形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征。图像的轮廓特征主要针对物体的外边界，而图像的区域特征则关系到整个形状区域。
几种典型的形状特征描述方法：
（1）边界特征法该方法通过对边界特征的描述来获取图像的形状参数。其中Hough 变换检测平行直线方法和边界方向直方图方法是经典方法。Hough 变换是利用图像全局特性而将边缘像素连接起来组成区域封闭边界的一种方法，其基本思想是点—线的对偶性；边界方向直方图法首先微分图像求得图