7.1 视觉里程计_特征提取与匹配

一、特征点法

• 理解图像特征点的意义，掌握在单幅图像中提取特征点及多幅图像中匹配特征点的方法
•  理解对极几何的原理，利用对极几何的约束，恢复出图像之间的摄像机的三维运动（通过两张图片恢复摄像机的位姿）
• 理解如何通过三角化，获得二维图像上对应的三维结构（这个三维结构对的并不是真实的深度，带有尺度）
• 理解PNP问题，及利用已知三维结构（三角化得到的）与图像的对应关系，求解摄像机的三维运动
• 理解ICP问题，及利用点云的匹配关系，求解摄像机的三维运动

经典SL AM模型中以相机位姿—路标来描述SL AM过程

• 路标是三维空间中固定不变的点，可以在特定位姿下观测到
• 在视觉SLAM中，可利用图像特征点作为SLAM中的路标

二、特征点

特征点是图像当中具有代表性的部分，如轮廓点，较暗区域中的亮点，较亮区域中的暗点等。具备的特点如下：

• 可重复性: 相同的区域 可以在不同的图像中找到（可以跟踪）
• 可区别性: 不同的区域有不同的表达（每个特征有具体的特征，不能都一样）
• 高效率: 同一图像中，特征点的数量应该小于像素的位置
• 本地性: 特征仅与一小片图像区域有关

特征点的信息：

• 关键点：位置、大小、方向、评分等     
• 描述子：特征点周围的图像信息       

例子：当谈论在一张图像中计算SIFT特征时，是指“提取SIFT关键点，并计算SIFT描述子”。

 SIFT充分考虑了在图像变换过程中的光照、尺度、旋转等变化，结果精确，但计算量大。GPU无法实时计算SIFT特征。

三、ORB特征点

FAST角点：主要检测局部像素灰度变化明显的地方(如果一个像素与领域的像素差别较大，则更可能是角点)

FAST步骤：

1. 在图像中选取像素，假设它的亮度为。
2. 设置一个阈值 (比如的20%)。
3. 以像素为中心，选取半径为3的圆上的16个像素点。
4. 假如选取的圆上，有连续的N个点的亮度大于或小于，那么像素可以被认为是特征点(通常取12，即为FAST-12。其它常用的N取值为9和11,他们分别被称为FAST-9，FAST-11)。
5. 循环以上四步，对每一个像素执行相同的操作。

在FAST12中，提出一个高效的测试，来快速排除一大部分非特征点的点。该测试仅仅检查在位置1、5、9、13四个位置的像素如果不满足至少三个角点亮度大于I+T或小于I-T，那么不可能是一个角点。

FAST缺点：

• 原始FAST角点经常出现扎堆的现象(分布不均匀)。所以在第一遍检测之后，还需要用非极大值抑制，在一定区域内仅保留响应极大值的角点，避免角点集中问题。
• 由于FAST角点不具有方向信息且存在尺度问题，ORB添加了尺度和旋转的描述：尺度不变性通过构建图像金字塔来实现，旋转是由灰度质心法来实现。

关键点：Oriented FAST(一种改进的FAST角点)

Oriented FAST：尺度不变性通过构建图像金字塔来实现

        金字塔是计算图视觉中常用的一种处理方法， 示意图如下  图所示。金字塔底层是原始图像。每往上一层，就对图像进行一个固定倍率的缩放，这样我们就有了不同分辨率的图像。较小的图像可以看成是远处看过来的场景。在特征匹配算法中,我们可以匹配不同层上的图像，从而实现尺度不变性。例如，如果相机在后退，那么我们应该能够在上一个图像金字塔的上层和下一个图像金字塔的下层中找到匹配（从而避免尺度不变性）。

Oriented FAST：旋转是由灰度质心法来实现

描述子：BRIEF

一种二进制描述子，其描述向量由许多个0和1组成（比较关键点附近两个像素p与q亮度值，即灰度值）

• 1  关键点附近两个像素I(p)>I(q)
• 0  关键点附近两个像素I(p)

BRIEF-128:在特征点附近的128次像素比较（工程 上用2））

 

 描述子: BRIEF总结

1. 优点：BRIEF使用 了随机选点的比较，速度比较快，而且由于使用了二进制表达，存储起来也十分方便。
2. 缺点：原始的BRIEF描述子不具有旋转不变性，在图像发生旋转时容易走失。而ORB在FAST特征，点提取阶段计算了关键点的方向，计算了旋转之后的“BRIEF”特征使ORB的描述子具有较好的旋转不变性。
3. 注意:：BRIEF是一 种二进制描述，需要用汉明距离度量.

ORB特征点和描述子流程：

1. 以关键点(紫色点)为圆心(几何质心)，以d为半径做圆。
2. 计算质心(蓝色点)，得到特征点方向(绿色箭头)
3. 选取某一模式下的pq点对，书上代码是128对，这里为了方便选取了2对。
4. 根据特征点方向，将其旋转到与x轴平行，并将所有pq点对进行旋转。
5. 按照规则if(l(p)>l(q)) val=1;else val= 0。
6. 按照顺序排列描述子。

四、特征匹配

       特征匹配解决了SLAM中的数据关联问题，即确定当前看到的路标与之前看到的路标之间的对应关系。通过对图像与图像或者图像与地图之间的描述子进行准确匹配，可以为后续的姿态估计、优化等操作减轻大量负担。然而，由于图像特征的局部特性，误匹配的情况存在。