视觉SLAM笔记（40） 特征点的缺陷

---

1. 特征点估计相机运动的缺陷

之前介绍了使用特征点估计相机运动的方法
尽管特征点法在视觉里程计中占据主流地位，研究者们认识到它至少有以下几个缺点：

1. 关键点的提取与描述子的计算非常耗时
   实践当中， SIFT 目前在 CPU 上是无法实时计算的，而 ORB 也需要近 20 毫秒的计算
   如果整个 SLAM 以 30 毫秒/帧的速度运行，那么一大半时间都花在计算特征点上

2. 使用特征点时，忽略了除特征点以外的所有信息
   一张图像有几十万个像素，而特征点只有几百个
   只使用特征点丢弃了大部分 可能有用 的图像信息

3. 相机有时会运动到 特征缺失 的地方，往往这些地方没有明显的纹理信息
   例如，有时会面对一堵白墙，或者一个空荡荡的走廓
   这些场景下特征点数量会明显减少，可能找不到足够的匹配点来计算相机运动

---

2. 克服使用特征点缺陷

看到使用特征点确实存在一些问题，至于克服这些缺点
有以下几种思路：

• 保留特征点，但只计算关键点，不计算描述子
  同时，使用 光流法（Optical Flow）来跟踪特征点的运动
  这样可以回避计算和匹配描述子带来的时间，但光流本身的计算需要一定时间

• 只计算关键点，不计算描述子
  同时，使用 直接法（Direct Method）来计算特征点在下一时刻图像的位置
  这同样可以跳过描述子的计算过程，而且直接法的计算更加简单，但没有特征点法精确

• 既不计算关键点、也不计算描述子，而是根据像素灰度的差异， 直接计算 相机运动

---

3. 思路分析

第一种方法仍然使用特征点，只是把匹配描述子替换成了光流跟踪
估计相机运动时仍使用对极几何、 PnP 或 ICP 算法

使用特征点法估计相机运动时，把特征点看作固定在三维空间的不动点
根据它们在相机中的投影位置，通过 最小化重投影误差（Reprojection error）来优化相机运动
在这个过程中，需要精确地知道空间点在两个相机中投影后的像素位置
这也就是为何要对特征进行匹配或跟踪的理由
同时，也知道，计算、匹配特征需要付出大量的计算量

在后两个方法中，会 根据图像的像素灰度信息 来计算相机运动，它们都称为直接法

相对的，在直接法中，并 不需要知道点与点之间之间的对应关系
而是通过 最小化光度误差（Photometric error）来求得它们

---

4. 直接法

它是为了克服特征点法的上述缺点而存在的
直接法 根据像素的亮度信息，估计相机的运动，可以完全不用计算关键点和描述子
于是，既避免了特征的计算时间，也避免了特征缺失的情况
只要场景中存在明暗变化（可以是渐变，不形成局部的图像梯度），直接法就能工作

根据使用像素的数量，直接法分为稀疏、稠密和半稠密三种
相比于特征点法只能重构稀疏特征点（稀疏地图），直接法还具有恢复稠密或半稠密结构的能力

历史上，虽然早期也有一些对直接法的使用
但直到 RGB-D 相机出现后，人们才发现直接法对 RGB-D 相机，进而对于单目相机，都是行之有效的方法
随着一些使用直接法的开源项目的出现（如 SVO、 LSD-SLAM 等）
它们逐渐地走上主流舞台，成为视觉里程计算法中重要的一部分

---

参考：

《视觉SLAM十四讲》

---

相关推荐：

视觉SLAM笔记（39） 求解 ICP
视觉SLAM笔记（38） 3D-3D: ICP
视觉SLAM笔记（37） 求解 PnP
视觉SLAM笔记（36） 3D-2D: PnP
视觉SLAM笔记（35） 三角化求特征点的空间位置

---