SIFT特征

SIFT特征

SIFT描述算子(Scale Invariant Feature Transform)是于1999年由David G.Lowe提出。可以处理两幅图像之间发生平移、旋转、仿射变换情况下的匹配问题，具有良好的不变性和很强的匹配能力。SIFT算法是一种提取局部特征的算法，也是一种模式识别技术，其基本思想是在尺度空间寻找极值点，提取位置，尺度，旋转不变量，它主要包括两个阶段，一个是Sift特征的生成，即从多幅图像中提取对尺度缩放、旋转、亮度变化无关的特征向量；第二阶段是Sift特征向量的匹配。
SIFT特征是对局部特征进行检测的算法,该算法通过匹配计算出的图中的特征点与有关尺度空间规模和方向的描述子得到的特征,取得了很好的效果。它不仅具有尺度不变性的特点,能够对图像进行很好的描述,并且即使旋转角度发生了改变,图像亮度发生变化或者拍摄角度发生改变都不会影响最后的检测效果,具有很好的鲁椿性。
SIFT算法的主要特点：
a)SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变 性，对视角变化、仿射变换、噪声也保持一定程度的稳定性，而对物体运动、遮 挡、噪声等因素也保持较好的可匹配性，从而可以实现差异较大的两幅图像之间 特征的匹配。
b)独特性(Distinctiveness)好，信息量丰富，适用于在海量特征数据库中进行 快速、准确的匹配，比原有的harris点匹配方式具有更高的匹配准确度。
c) 多量性，即使少数的几个物体也可以产生大量SIFT特征向量。
d) 高速性，经优化的SIFT匹配算法甚至可以达到实时的要求。
e) 可扩展性，可以很方便的与其他形式的特征向量进行联合。
SIFT特征算法分为以下几个步骤:
（1）对尺度空间进行构建。当于一个初始化的操作,它的目的是对图像数据中的多尺度特征进行模拟。
（2）图像金字塔的建立。对于一幅图像I来说,子八度(octave)就是在不同尺度建立起来的图像,它的建立是为了图像尺度(scale)的不变性,也就是说在图像的任何尺度上都存在相对应的特征点。每下一个子八度都是对上一个子八度进行降采样的结果,就是对长宽分别减半,也就是原图的1/4。从而构成下一个子八度，即高一层的金字塔。第一个子八度的尺度大小就是原始图像的大小,通过对每下一个子八度的降采y,不断构成更高一层的金字塔。
（3）利用LoG近似DOG的方法找到关键点。检测DOG尺度空间的极值点就是这里提出要寻找的关键点。尺度空间的极值点并不容易找到,要比较每一个采样点与它周围所有存在的相邻点,观察它们的尺度域和图像域的相邻点的大小。
（4）裁剪掉不好的特征点。主要是为了去掉那些影响DoG局部曲率非常不对称的像素点。若要确定关键点的位置以及同时达到亚像素精度的尺度则可以通过对三维二次函数的拟合来确定。同时还能够去除由于DoG算子导致的较强的边缘响应产生的一些低对比度的关键点和边缘不稳定响应点,以保证匹配的稳定性及抗噪声能力的提高。
（5）生成关键点的描述算子。为每个特征确定相应的方向,并在进一步的计算和处理中依据这个方向来进行。为了使描述算子具有旋转不变性的特点,可利用关键点邻域像素的梯度方向分布特征来为指定每个关键点的方向参数。
在实际计算使用过程中,我们采样的范围是在以关键点为中心的相邻区域窗口内,并统计相邻区域像素的梯度方向,这里我们使用的是直方图,从而得到梯度方向直方图。
局部不变特征
（1）局部不变特征的概念
局部不变特征就是由局部邻域所构成的一个图像模式。局部不变特征可以是点集，也可以是边缘集合，或者一些小的图像块集合，甚至是上述集合的复合体。局部不变特征认为图像中总是存在一些特殊的区域，这些区域中的特征比其它图像区域的特征更加稳定，信息含量更高，能够表征图像的内容。局部不变特征的局部是指特征只是图像的局部区域，不变性是指该特征不会因为图像经历了各种变换而发生变化。
（2）局部不变特征特点
局部不变特征的种类繁多，适合不同的特征提取场合，各自独立性较强，相互之间可以组合和借鉴。复合类型的局部不变特征可能会增加计算负担，但是能够取得更好的性能。
（3）局部不变特征的应用
局部不变特征是一种十分有效的工具，大量研究表明它能够适应各种图像处理的应用场合，特别是在模拟人类视觉系统的物体识别领域，拥有强大的应用性。从直观的人类视觉印象来看，人类视觉对物体的描述也是局部化的，基于局部不变特征的图像识别方法十分接近于人类视觉机理，通过局部化的特征组合，形成对目标物体的整体印象，这就为局部不变特征提取方法提供了生物学上的解释，因此局部不变特征也得到了广泛应用。
（4）特征描述符
特征描述符(Featrue Descriptors)指的是检测图像的局部特征（比如边缘、角点、轮廓等），然后根据匹配目标的需要进行特征的组合、变换，以形成易于匹配、稳定性好的特征向量，从而把图像匹配问题转化为特征的匹配问题，进而将特征的匹配问题转化为特征空间特征向量的聚类问题。
（5）局部不变特征检测与局部不变特征区域的概念
局部不变特征检测就是从图像中检测出具有某种几何和光学不变性(geometric and photometric invariant)的局部不变特征区域。局部不变特征区域是以特征点(feature point or key point)为中心带有尺度信息的图像局部区域。局部不变特征认为，在大多数的图像中总能找到一些性质特殊的区域，它们可以稳定的提取，并且对各种图像变化具有良好的鲁棒性且包涵更多的图像内容信息。
基于局部不变特征的图像处理理论和技术主要包括四个部分：
（1）图像尺度空间：图像数据包含大量混杂在一起的特征信息，按照局部不变特征的思想，这些特征信息是归属于不同类型不同属性的目标物体，其位置和控制区域各不相同，不同分布和参数的特征相互叠加和组合，这使得特征提取变得困难，所以需将这些特征进行一定的“分离”操作，将各类特征分散到整个图像数据空间中去，图像尺度空间就是为图像的各种不同类特征分离提供的一种数据表示法。
（2）局部不变特征检测：在尺度空间内构造不变特征检测函数，生成对应尺度下的局部不变特征空间，检测其中具有一定特征显著性的局部不变特征区域，并把它作为特征描述的目标区域，确定每个特征的尺度系数，局部不变特征结构的位置和尺度范围。这些局部区域及其包含的信息形成对图像语义结构信息的表示，为进一步的特征描述提供图像内容的结构和范围信息。
（3）局部不变特征描述：局部不变特征检测获得的特征仅仅给出了图像内容的结构信息，局部不变特征区域还需要从图像尺度空间表示的数据形式转化特征描述向量。局部不变特征描述就是用局部不变特征描述符(Local feature descriptor)去描述局部不变特征区域，用尽可能相互独立和完备的特征描述数据来表示复杂组合的目标物体，完整详细地描述图像内容，给出图像的语义信息。
（4）特征匹配和检索：特征提取的最终目的是使用这些特征来进行目标识别和特征的检索，通过对特征描述空间中的特征数据进行分类、匹配和检索，实现各种图像识别应用。由于其良好的鲁棒性和抗干扰性，使的它作为目标识别中机器学习样本描述的首选特征，图像和视频检索方法也大都采用局部不变特征作为学习和检索的依据。