SLAM前端 - 直接法

参考：
高翔——《视觉SLAM十四讲》第8讲 视觉里程计2
高翔——《视觉SLAM十四讲》系列讲解视频及PPT ch8

---

• 目录：
  1 光流法
  2 直接法
  3 特征点法 vs 直接法

---

1 光流法

• 分为：
  （1）稀疏光流：Lucas-Kanade即LK光流为代表，追踪角点或其他形式关键点
  （2）稠密光流：Horn-Schunch即HS光流为代表，追踪所有点
  其中，一般用稀疏光流法，下面只介绍LK光流。

• 基于灰度不变假设，最后变成解一个超定最小二乘优化，解得的是相机运动估计

• 优化的初始形式——灰度不变假设：

  不过因为这个会变成一个二元的方程，欠定，故一般取一个4*4的patch认为灰度不变，于是成了16个二元方程的方程组，成为一个超定问题。

• 实际应用时的流程：
  （1）先对第一张图做特征提取（不用算描述子）
  （2）对于后面的图，追踪这些点
  这两步OpenCV中都有相应函数。这两步其实对应到特征法中，代替的是特征提取+特征匹配。而对于单目初始化（2D-2D）、PNP（3D-2D）、ICP（3D-3D），跟之前都是一样的。

• 光流法结论和评价：
  （1）没有用到相机本身的几何结构
  （2）对于相机的旋转和图像的缩放无可奈何，因为取了一块patch，认为是不变的，但是旋转、缩放时patch是变的，所以光流法对于平动比较好

---

2 直接法

• 分为：
  （1）稀疏直接法：只处理稀疏角点或关键点
  （2）稠密直接法：使用所有像素
  （3）半稠密直接法：使用部分梯度明显的像素

• 也是基于灰度不变假设，最小化光度误差，最后变成某形式的优化问题，解得相机运动估计

• 优化的初始形式——最小化光度误差：

• 直接法结论和评价：
  （1）梯度不明显的地方，对相机运动估计的贡献较小
  （2）直接法需要大量的点做优化，所以提的点少的话效果不好
  （3）像素灰度引导着优化方向，容易受到图像非凸性的影响，可通过金字塔减轻
  （4）由于基于光度不变假设，易受光照影响

---

3 特征点法 vs 直接法

（1）特征点法提完特征之后图像就没用了；直接法更依赖于图像，所以图像质量需要比较好
（2）