【视觉SLAM入门】9.1 建图1---SLAM任务，稠密地图构建，立体视觉，RGBD，八叉树，点云地图等各种不同地图

SLAM的功能： 直到现在我们可以知道SLAM包含：定位，导航，避障，重建，交互。

• 在不同的功能下也有不同的地图。

之前的都是稠密地图，不同功能要不同地图，本节看稠密地图构建。

1. 立体稠密地图

构建地图必须要知道每个像素点到照片的距离。
立体视觉 ： 单目和双目的统称，单目做三角化，双目做时差；
另一种：用RGB-D直接获得距离。

1.1 地图构建

稠密地图，无法将每个像素都当做特征点。寻找新的匹配算法。

• 极线搜索 和 块匹配：负责匹配，确定A图中的点出现在B图中的位置；
• 深度滤波器：确定匹配到的深度，用多次三角测量使其收敛。

极线搜索示意图

描述的是：不同视觉下观察同一个点，相机1中的 $p_1$ 点，实际的点一定在 $d$ 这条线上，在相机2中观察这个点就在极线 $l_2$ 上，在这条线上搜索和 $p_1$ 比较相近的点。这就是极线搜索

块匹配

• 上边极线搜索，在线上如何搜索到与 $p_1$ 相近的点，方法很多，比如直接比像素(直接法，误差大)，块匹配等。
• 这里介绍块匹配，一条线上相似亮度的像素很多，那就取图像块，在 $p_1$ 周围取一个大小为 $w\cdot w$ 的图像块，在极线上也这么取同样大小的小块比较，提高区分性。(比较两个小块方法有 SAD，SSD, NCC，还有改进的为了去掉光照影响，去每个小块均值的SAD,SSD等等)。

深度滤波器

在搜索距离比较长的情况下，真实的对应点尽管只有一个，但在搜索极线时会有很多峰值，如下，

非凸性，对一个点我们不会用单一数值去表示深度，而是用高斯概率 $$P(d)=N(\mu ,{\delta }^2)$$，新的数据到来，都会观测它的深度，两个高斯分布进行融合。

分析这样做的误差(集合不确定性，这里以一个像素误差为例)

当最后的 $\delta$ 收缩到一定小，认为深度数据已经收敛。

估计稠密像素深度的完整过程：

结果：大部分是正确的，但是没有得到预期效果。

1.2 分析立体相机稠密建图效果

1. 像素梯度和块匹配的影响：像素梯度沿着块变化明显则效果好，像素梯度沿着块变化不明显则效果不好，如果图像仅仅是一片黑，一片白，没有有效信息，则不好匹配；（对物体纹理的依赖）
2. 假设了深度符合高斯分布，实际中他的距离会从0到无穷，这个时候逆深度是高斯中比较有效的，有更好的数值稳定性，现在比较通用，就是在推导中深度的倒数；
3. 如果相机明显旋转时，下黑上白的图像块可能会下白上黑，导致相关性为负，永远不可能匹配到了，尽管还是同一个。

• • 解决：在匹配之前要做图像间的变换，根据两幅图像的相机位姿考虑进来，对图像做仿射变换后，再进行匹配。

4. 稠密估计一般GPU
5. 在边缘区域深度变化可能很大，给深度估计加正则化，使相邻的深度变化不会太大；
6. 没有考虑外点（没有匹配的点）

总之太过于依赖环境纹理和光照，不可靠

2. RGB-D稠密地图

RGB-D的结构光和飞时原理，保证了深度数据对纹理的无关性。只要能反射光就能估计深度；

2.1 地图对比

1. 点云地图 ，可以含有 $x,y,z,r,g,b$ 信息，有相机位姿则点云加和就是全局点云。但是点云地图比较初级：不满足定位，基本满足导航和避障，可视化不符合人类习惯，是一类初级地图

• • 细节：去掉深度太大或者无效的点；统计滤波器去掉孤立点；体素滤波器：降采样节省空间；

2. 但是：适合导航的占据网格地图(Occupancy Grid) 是从点云出发的，SFM中的泊松重建，或者Surfel通过基本点云地图构建了漂亮的可视化地图。（其他地图详见PCL库）。

---

2.1.1 八叉树地图

3. 八叉树地图：导航常用，压缩性能较好，可随时更新。(对标点云的规模大，无法处理运动物体)
   

• 八叉树地图如上：假设房间是1块立方体，上前右分别切一刀，这样做一次，就被分成8个，对应八叉树第一层，对分开的小方块再如此做，这样深度越深，可储存容量越大；
• 节省空间：某个方块的所有子节点都被占据或者不占据时，这个节点便没必要展开，0表空白，1表占据，由于噪声，我们用概率来储存；
• 具体的储存方法：给定一个初始值，比如0.1，如果不断观测到它被占据，就一直累加，反之一直减小；为了防止它超界，用对数即可。

当有一个深度 $d$ 的像素出现：证明深度值对应的空间点观察到一个占据数据，且从光心到这个点的线段没有障碍。

一个八叉树地图如下:

3. 建图？定位？孰轻孰重

3.1 鬼影问题

前边为了使用，我们以定位为主题进行了建图，这样的建图有问题

1. 地图的构建只能在关键帧层面，由于算力原因；

2. 没有优化地图，只是拼接叠加，假如两帧出现同一个物体，这种叠加往往不够准确，会有两个重影—鬼影。

总而言之，地图构建的不够精确

3.2 三维重建

这里将重建准确地图作为主题，定位次之，基于GPU加速。且研究方向正在往大规模，大型动态场景的重建方向发展。

RGBD实时重建方法也很多，TSDF地图等等。

4. 总结

单目或双目可以构建；但是RGB-D容易点，更稳定，没有讨论拓扑地图，只讨论了度量地图。