VSLAM 相关知识点总结
VSLAM 相关知识点
这篇文章是对VSLAM涉及的知识点进行系统性的总结和更新，一些内容来源至VSLAM经典教材，博客，和开源项目(引用材料如下表)
- SLAM十四讲高博
- 古月老师的技术博客
- 崔神的github(VIO讲解）
- 知乎面经
相关知识点不断更新中-最近更新2022年10月13日
工程问题
-
RANSAC
- 使用需要有先验（需要提前知道inlier的比例是多少，知道点的卡方分布），迭代次数的公式模型(F或者H).
- RANSAC算法的输入是一组观测数据，一个可以解释或者适应于观测数据的参数化模型，一些可信的参数。 RANSAC通过反复选择数据中的一组随机子集来达成目标。被选取的子集被假设为局内点，并用下述方法进行验证：
1.有一个模型适应于假设的局内点，即所有的未知参数都能从假设的局内点计算得出。
2.用1中得到的模型去测试所有的其它数据，如果某个点适用于估计的模型，认为它也是局内点。
3.如果有足够多的点被归类为假设的局内点，那么估计的模型就足够合理。
4.然后，用所有假设的局内点去重新估计模型，因为它仅仅被初始的假设局内点估计过。
5.最后，通过估计局内点与模型的错误率来评估模型。
固定迭代的次数重复执行，每次产生的模型要么因为局内点太少而被舍弃，要么因为比现有的模型更好而被选用。 -
增强特描述子之间的区分度
- 旋转不变性（增加方向向量）
- 尺度不变性（使用图像金字塔）
- 光照不变性（使用对曝光模型增加识别度）
-
单目视觉尺度漂移
在使用单目相机估计相机姿态和3D坐标时，需要对极几何、三角化估计，这个过程中会产生累积误差，进而导致尺度的不一致，产生尺度漂移。根本原因是单目相机无法根据一张图片就会的图中物体的大小信息，这就是尺度漂移的根源。
解决办法：将前后两帧的尺度作为后续的尺度。采用全局式估计，使用统一的尺度。 -
单目和VIO的可观性
单目VO：七自由度不可观，三自由度位置，三自由度旋转，尺度。
VIO：四自由度不可观，加速计导致尺度可观，由于重力向量已知，导致和重力向量平行的roll翻滚角，重力向量垂直相交的pitch俯仰角可观。剩下三自由度位置和绕重力旋转的yaw航向角不可观。 -
后端不收敛的解决办法
- 迭代次数不够，增加迭代次数。
- 优化方法的问题：使用高斯牛顿法时，可能出现JJT（H的近似）为奇异矩阵或者病态的情况，此时增量稳定性较差，导致算法不收敛。（残差函数在局部不像一个二次函数，泰勒展开不是很准确），导致算法不收敛。而且当步长较大时，也无法保证收敛性改进更换增量方程的求解方法，如果使用的是高斯牛顿法，可尝试使用LM法算法。
-
定位阶段实际地图与离线地图发生较大差异的情况
先建立局部定位使得系统在没有地图时也能定位，等找到了回环，再进行全局优化。
-
针对SLAM算法的各个阶段，谈谈使用哪些方法可以提升算法的运行速度? 前端特点匹配识别使用GPU加速，后端涉及内存搬用的部分，全部改为引用和指针。
-
单目slam和双目slam的区别？双目SLAM，不用初始化，双目可以恢复世界尺度，单目不能。单目标定简单参数不易变换，双目标定难维护难。
-
如果环境中有两个版本的OpenCV，如何在CMakeList.txt中指定使用某一版本的OpenCV
-
c++多线程中进程间通信的手段有哪些？
-
已知面外一点和面内三点，求点到面的距离？
-
ros1与ros2有什么区别？
-
什么是紧耦合、松耦合？优缺点？
-
手眼标定原理？
-
多传感器时间标定（例如：相机和IMU之间的时间标定）
1）在线标定:VINS-mono，将时间漂移作为一个优化变量
2）Kalibr 工具箱中离线的时间标定方法。
3）硬件对齐：因为时钟源都有钟漂，而且每个时钟源钟漂不同，所以即使把各个传感器时间戳在初始时刻对齐，运行一段时间之后，之前对齐的结果仍会偏离。解决这个问题的办法就是在硬件上把时钟源统一，常见的做法是做一个脉冲发生器，所有传感器都被这个脉冲触发，每次触发都校正一次自己的时钟，这样就可以消除时钟源的累计误差。 -
你们相机是怎么标定的？有没有标定过鱼眼相机、RGBD相机?
使用相机自标定法：相机自标定方法并不需要知道图像点的三维坐标，它通过计算某一点在不同拍摄角度的场景图中的相对关系来确定相机标定的参数问题。自标定法的这种特性，使得它能够完成一些未知相机参数的标定，方法灵活，得到的结果较差。
基于主动视觉的相机标定法是通过主动系统控制相机做特定运动，拍摄多组图像，依据图像信息和已知位移变化来求解相机内外参数。
基于主动视觉的相机标定法是通过主动系统控制相机做特定运动，拍摄多组图像，依据图像信息和已知位移变化来求解相机内外参数。相机标定kalibr工具包，标定板进行标定。
IMU标定：
IMU的误差模型给出了输出的测量值与真实值之间的对应关系方程，显然要求解的变量就是标定参数。可以看出只要找到了相对应的真实值和测量值，解这个方程组就好了。对于加速度计来说，这个好办，因为地球上天然的就存在重力加速度，只要调整IMU的姿态就能测出若干组真值。但是对于陀螺仪来说事情就变得没那么简单了，因为角速度的真值并没有能够直接获取的途径。一般专业的IMU标定都得借助专门的转台设备来进行。
kalibr标定工具包：
多相机标定（内外参标定，包括无重叠视场的情况）
Visual-Inertial标定，spatial – 旋转+平移，temporal – 不同传感器时间戳的偏差；
卷帘相机标定，卷帘相机的不同行的曝光开始时间有先后顺序，所以与快门相关的参数也要标出来。 -
如何标定IMU与相机的内参和外参？
-
多目相机的标定方法 ?
-
多相机怎样实现周视系统 ?
-
相机畸变种类有哪些？径向畸变，切向畸变。
-
在没有groundtruth情况下如何判断自己的置信度？因为没外部参考的真实值，所以要采用平均值作为数据分析的center。然后求得偏差作为置信度。
-
光流法和直接法的区别。
误差函数不同。
特征点法是重投影误差，直接法是光度误差雅克比矩阵不同。
光流法还是需要提取图像中有代表性的点，图像的特征点，只是不需要再计算描述子了，直接通过灰度假设计算特征点像素的运动，然后通过PNP、对极几何、ICP等方法求解相机的运动；
而直接法直接通过灰度假设计算得到相机之间的运动，任何图像的点都可以，不需要提取有代表性的点。
SLAM相关的理论
- 旋转矩阵的特征值和特征向量? （旋转向量，是旋转矩阵特征值为1的，特征向量。）
- 特征值和特征向量的一种物理意义? （如果矩阵对某一个向量或某些向量只发生伸缩变换，不对这些向量产生旋转的效果，那么这些向量就称为这个矩阵的特征向量，伸缩的比例就是特征值。）
- 求出的R矩阵不满足旋转矩阵的性质，该怎么做
- so(3)和se(3)的区别是什么，如何在算法中使用？（so3表示旋转，se3表示旋转和平移，在矩阵的求导过程中使用，利用李代数良好的加法特性，来简化矩阵使用扰动进行求导的过程，算法的使用参考SLAM十四讲）
- 推导左扰动模型？左扰动模型
- 为什么引入李群和李代数？（旋转矩阵自身是带有约束的（正交且行列式为 1）。它们作为优化变量时， 会引入额外的约束，使优化变得困难。通过李群——李代数间的转换关系，我们希望把位姿估计变成无约束的优化问题，简化求解方式）
- 相机的投影模型，推导从世界坐标系到像素平面坐标系的过程以及 fx 的计算公式？
- Eigen中矩阵求逆，用了哪些数学上的技巧？** 不清楚 **
- 如何判断求导是否正确？
- 如何存储稀疏矩阵？（十字链表，三元组顺序表，行逻辑连接表）
- SLAM中的绑架问题怎么理解？ （绑架问题是指机器⼈在缺少之前位置信息的情况下，或跟踪丢失的情况下，如何进⾏重新定 位、确定当前位姿。例如当机器⼈被安置在⼀个已经构建好地图的环境中，但是并不知道它在 地图中的相对位置，或者在移动过程中，由于传感器的暂时性功能故障或相机的快速移动，都导致机器⼈先前的位置信息的丢失，在这种情况下如何重新确定⾃⼰的位置）
- 三维空间的位姿有哪些表达⽅法? 旋转矩阵，旋转向量，欧拉角，四元数？
- 前沿理论
1.物体级SLAM有CodeSLAM，CubeSLAM ，QuadricSLAM
预积分
- IMU为什要预积分？预积分推导？预积分增量的原理？IMU预积分为什么可以避免重复传播？（预积分可以避免每次优化完状态变量后，再重新进行积分操作的处理的，可以节省计算资源）
- PVQ的积分连续形式
- 为什么VIO只优化4Dof，在IMU预积分公式中如何体现？预积分公式只P，V，Q有关，PVQ只和三自由度的位置和三自由度的旋转，以及重力向量有关，加速度计导致尺度可观和重力向量导致roll pitch角旋转可观，因此VIO只优化4自由度。
- VIO中协方差怎么传递？
- 协方差的主要作用？在待优化的残差函数中，协方差的逆作为信息矩阵来表示每个传感器对应残差的权重，通过这个权重矩阵可以归一化不同残差的高斯分布，使得不同传感器残差可以线性相加。引用vinsmono作者，香港科大沈劭劼老师的话，简单来说协方差矩阵的逆，是多传感器信息融合时，残差加权平均的权重。
前端
-
光流的原理，光流评价的指标？
计算光流和GT的误差 Endpoint error(EPE)，
光流向量间的Angular error(AE)。
图像颜色值差值误差 Interpolation error(IE)，
图像颜色值差值误差 Normalized interpolation error(NE)。 -
光流实现原理，为什么要用金字塔？
如何解决这一问题，我们采用了金字塔的方法，即窗口固定，将图像生成金字塔，在每一层金字塔上都用同一个大小的窗口来进行光流计算。那么在图像大小较小的时候，窗口显得较大，此时的光流可以跟踪速度较快的目标，而在原始图像的时候，光流窗口相对较小，得到的光流就更准确。这是一个由粗到精的过程。 -
光流的patch不同有什么影响？
我们首先要设置一个邻域的窗口，之后计算光流
当窗口较大时，光流计算更鲁棒，当窗口较小时，光流计算更正确。原因在于，当图像中每一个部分的运动都不一致的时候，如果开的窗口过大，很容易违背假设：窗口（邻域）内的所有点光流一致，这可能与实际不一致，所以窗口小，包含的像素少，更精确些。当运动较为剧烈的时候，无法实现光流的基本假设，所以当我们的领域加大的时候，算法更鲁棒。 -
光流跟踪在快速运动过程中，跟踪容易失败，采取什么方法？增大窗口，因为LK算法的约束条件即：小速度，亮度不变以及区域一致性都是较强的假设，并不很容易得到满足。如当物体运动速度较快时，假设不成立，那么后续的假设就会有较大的偏差，使得最终求出的光流值有较大的误差。构建图像金字塔可以解决大运动目标跟踪，也可以一定程度上解决孔径问题（相同大小的窗口能覆盖大尺度图片上尽量多的角点，而这些角点无法在原始图片上被覆盖）。考虑物体的运动速度较大时，算法会出现较大的误差。那么就希望能减少图像中物体的运动速度。一个直观的方法就是，缩小图像的尺寸。假设当图像为400×400时，物体速度为[16 16],那么图像缩小为200×200时，速度变为[8,8]。缩小为100*\100时，速度减少到[4,4]。所以光流可以通过生成 原图像的金字塔图像，逐层求解，不断精确来求得。
简单来说上层金字塔（低分辨率）中的一个像素可以代表下层的两个。 -
特征点法和直接法的对⽐及优缺点？
- 特征点法：运动或者旋转过大时，只要匹配点还在像素内，则不太会引起无匹配，相对于直接法有更好的鲁棒性。只能用来构建稀疏地图，无环境特征时无法工作，且计算和匹配描述子，耗费计算量。
- 直接法：有梯度即可，可以在渐变的环境下工作。
不需要计算描述子，不需要匹配特征点，节省了很多计算量。可以筹建半稠密乃至稠密的地图。
稀疏的直接法可以做到非常快速的效果，适合real time和资源受限的场合。基于灰度不变假设，容易受外界光照的影响。相机发生大尺度移动或旋转时无法很好的追踪，非凸优化，容易局部极值。用尺度金字塔改善。 - 光流法 ：关键点提取的多少基本上都可以工作。
初始化
- F基础矩阵 E本质矩阵 H单应矩阵？
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cnLJViVY-1665131477313)(en-resource://database/9578:1)]
- 本质矩阵：E = t^R 具有平移和旋转六自由度，尺度等价性，有五自由度，需要至少五队点。
- 基本矩阵：F = k’Ek-1 。
- 单应矩阵：H 描述两个平面之间的映射关系 。
- F矩是什么，通常怎么求解（8点法，SVD），秩是多少（2），求解中怎么保证秩是2（最小奇异值设为0）？
- 在前端中一般如何去除外点，通常使用F还是E，F和E的区别是什么？
H矩阵使用场景: 若场景中的特征点都落在同一平面上（比如墙，地面等），如扫地机器人携带顶视相机，和无人机携带复试相机。单应矩阵在slam中还有重要意义，特征点共面或者相机发生纯旋转的时候，基础矩 阵的自由度下降，这就出现了所谓的退化（degenerate）。现实中的数据总包含一些噪声，这时候如果我们继续使用八点法求解基础矩阵，基础矩阵多余出来的自由度将会主要由噪声决定。为了能够避免退化现象造成的影响，通常我们会同时估计基础矩阵 F 和单应矩阵。H: 选择重投影误差比较小的那个作为最终的运动估计矩阵。 - 求出本质矩阵E如何恢复R和t：使用八点法，SVD奇异值分解。
- 推导一下基础矩阵F，以及求解它的方法有哪些。
- 基础矩阵矩阵推导：
- 计算H矩阵和F矩阵的时候有什么技巧呢？
计算E，自由度为5：使用八点法，SVD奇异值分解分解矩阵成R,t。根据线性方程解出的 E，可能不满足 E 的内在性质——它的奇异值不一定为 σ, σ, 0 的形式。这时，在做 SVD 时，我们会刻意地把 Σ 矩阵调整成上面的样子。通常的做法是，对八点法求得的 E 进行 SVD 分解后，会得到奇异值矩阵。
计算H, 自由度8，使用4点，每个点提供两自由度（提供3自由度，自由度实际能用2）。分解的方法包括数值法与解析法。
Σ = diag(σ1, σ2, σ3)，不妨设 σ1 ≥ σ2 ≥ σ3。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4o4C0LGJ-1665131477333)(en-resource://database/9588:1)] - 对于单⽬相机，F和H矩阵有何不同，E和F矩阵有何不同，只旋转不平移能不能求 F、能不能求H？
- SFM 单目 2d-2d 对极几何 ？本质矩阵E的推导过程
- SFM 双目 2d-3d PnP （RGBD）原理？ 两张图一张3D点已经知道，至少三对点才能。3D-2D 方法不需要使用对极约束，又可以在很少的匹配点中获得较好的运动估计，是最重要的一种姿态估计方法。PnP问题有很多种求解方法,三对点估计位姿的P3P（3对点），直接线性变换（DLT）（六对点）， EPnP（Efficient PnP）[46]，UPnP[47] 等等）。此外，还能用非线性优化BA. 直接线性变换的误差，在于求解出来的矩阵可能不满足旋转矩阵约束，需要进行近似，如果不知道内参时，内参估计的过程也会引入误差。
- SFM 激光 3d-3d ICP 原理？点对点旋转平移转换公式，通过SVD方法，先求旋转矩阵R, 再求平移T。使用优化方法，直接求RT.
- PnP位姿最少需要几个点？有几组解？误差来源于哪里
- icp至少需要几对点，已知对应点的话，怎么求变换关系闭式解？
- 恢复特征点深度-三角测量
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4ZjZOoTq-1665131477342)(en-resource://database/9590:1)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UN1dICbs-1665131477344)(en-resource://database/9592:1)] - Vins的初始化流程？
- SFM定义？即给出多幅图像及其图像特征的一个稀疏对应集合，估计3D点的位置，这个求解过程通常涉及3D几何（结构）和摄像机姿态（运动）的同时估计。
后端优化
-
两帧之间构建残差
视觉残差：
1）特征点法：通过重投影误差构建残差，使用观测值减去估计值来构建代价函数，可以同时位姿和特征点。
2） 直接法：光度误差
IMU残差：IMU预积分增量和帧间增量的差值
公式推导- 重投影误差公式推导：
- 光度误差公式推导：
- IMU残差推导;
-
非线性优化的方法和区别？
非线性优化问题的框架，分为 Line Search 和 Trust Region 两类。
Line Search (线性搜索） 先固定搜索方向，然后在该方向寻找步长，以最速下降法和 Gauss-Newton 法为代表。
Trust Region（信赖区域）先固定搜索区域，再考虑找该区域内的最优点。此类方法以 L-M 为代表。公式推导：求解增量deltX使得目标函数最小
* 最速下降法（目标函数泰勒展开保留一阶梯度，过于贪心容易走出锯齿形）：
* 牛顿法（目标函数泰勒展开保留二阶梯度，H矩阵难以计算）：
* G-N（f(x)一阶泰勒展开，展开目标函数的平方项，求导数为0）：
*
* LM（GN的二阶近似，只能在展开点附近有好的效果，给deltx设置限定区域从而保证近似值的准确性）：
*
我们用 Lagrange 乘子将它转化为一个无约束优化问题
-
gtsam因子图优化是如何实现优化
为什么要使用因子图： 在slam的后端优化问题中，通常会通过⼀些传感器的观测，比如视觉特征点，IMU预积分量，Lidar面点和边缘点（角点）的约束去构建一个优化问题，去求解状态量（如位姿、速度等）。这个时候存在一个问题，当给这个系统新增⼀个约束时，就会重新建立所有的约束对状态量的优化问题进行求解；当优化模型增大时，显然进行一次优化的时间也会增加很多；一方面实时性遭遇了挑战，另一方面，很久之前的状态也没有继续更新的必要。为了解决这个问题
- ⼀种方式，是使用滑动窗口来控制优化问题的规模，而滑动窗口需要处理好边缘化的问题；
- 另一种方式，可以使用因子图的模型来解决这个问题，前面所说的约束就是因子节点，优化变量就是优化节点，通过调整变量求得最大后验估计，就得到了我们想要的状态量。最大后验概率正比于所有因子图相乘的最大概率值。最大后验是整个因子图实际上就是每个因子单独的乘积。在机器人运行的过程，因子图往往是逐渐成长和增大的。比如说在往前移动的过程中，加了一组节点，随着观测的数据越来越多，加了越来越多的因子进来。 每一次求解都是比上次多一些因子，而且大部分因子图跟之前因子图是基本一致的，这是增量推理（incremental inference）。假设因子图只加了一点， 其他都没变，如果从零开始求解，矩阵会越来越大，求解速度会越来越慢，而且绝大多数都是重复性的工作。sam1实际上做的是增量QR分解。给定一个J矩阵，可以分解成Q和R，假设因子图其他都不变，之前的因子图还在，加了一些新的因子。每一个因子对应的是J矩阵的每一行，所以新加了几个因子，就是在J矩阵中增加了几行。问题就是如果在已知分解出来的QR的情况下，J增加了几行，如何快速算出R矩阵。
- 卡尔曼滤波算法的主要公式及各参数代表的意义
卡尔曼滤波步骤
>
6. 请简述图优化和最小二乘法之间的联系？slam中的图优化的环节,本质上实际是一个非线性最小二乘问题的求解过程.
7. 请简述卡尔曼滤波的流程及增益K的含义，运动方程中预测噪声是变大还是变小，观测方程中噪声是变大还是变小？噪声是如何调参的？
预测噪音应该是越来越大的，观测方程的噪音应该是不变的或者说是在变化的。
10. BA当中雅可比矩阵的纬度是 ？
11. 什么是紧耦合、松耦合？优缺点？
- 优化方法
- 如何增加鲁棒核函数，雅克比需要重新计算么，增加核函数后雅克比怎么变化？对于视觉中有鲁棒核的损失函数，因为视觉里面有Huber核函数的原因，需要重写雅克比与残。
- 多传感器之间的误差分摊，那传感器多怎么办?使用协方差矩阵的逆对误差，进行归一化。
- 边缘化的意义? 边缘化在概率中的意义是条件概率，在SLAM的BA问题中是指利用H矩阵的稀疏性进行加速计算。
- 滑动窗口的理解? 为了控制状态量的维度和规模，保证实时性，
- 滑窗时边缘化是怎么实现的？通过舒尔补对变量进行消元
- 求解高阶非线性方程组
- 常用的优化方法有哪些（GN，LM， Dog-Leg）？这三种优化方法的原理是什么？最速下降法，GN，LM，Dog-Leg的区别？LM中的lamda的作用？λ 为 Lagrange 乘子，这 个子问题是带不等式约束的优化问题，我们用 Lagrange 乘子将它转化为一个无约束优化
- 高斯牛顿法，两个方程f1(x,y),f2(x,y)，雅克比是J1，J2。增量方程中最后的J是什么。（J = J12+J22）
- 求解线性方程组
- 求解AX = B 有几种解法？ 什么时候适用什么方法 ？QR分解，LDLT，Cholskey，SVD分解各自使用条件是什么，优劣势是什么，原理是什么 ？
- 谈谈QR分解，chokesly分解、SVD分解各自特点 ?
- Ax=B什么时候有唯一解，无穷解和无解？
- 李群李代数的导数
- 李群上位姿的导数 ?
- 为什么要引⼊李群李代数？李群与李代数的关系？指数映射关系
回环检测
- 回环检测方法有哪些？怎么实现？
MSCKF
- MSCKF中为什么分为SLAM点和MSCKF点?MSCKF中SLAM特征与MSCKF特征的区别?
- MSCKF中为什么没有landmark会很快，MSCKF是如何操作的，如果这个点没有左零空间呢？（SVD分解）
ORBSLAM
- orbslam的位姿图优化是怎么建立的?
- orbslam单目初始化与双目初始化的区别?
- ORB-SLAM中单⽬地图初始化过程？
- orbslam为了特征点均匀化做了哪些处理?使用四叉树对一个图像金字塔图层中的特征点进行均匀化，在特征点均匀化之前，需确定每层图像上特征点的提取数量。图像金子塔层数越高，对应层数的分辨率越低，面积越小，所能提取到的特征点数量就越少，所以分配策略根据图像的面积来定，将总特征点数目根据面积比例均摊到每层图像上。
- 卡方检验在orbslam起什么作用? 计算每个点对的对称转移误差和卡方分布的对应值比较，由此判定该点是否为内点。累计内点的总得分。
- orb-slam2的如何实现的整个流程，说说他的初始化?
- 在orb-slam回环中，更新的数据在哪个环节起到哪些作用？
- ORB-SLAM中的B是什么？（B是特征描述子描）ORB和FAST的区别?（可以指定特征点数量添加了尺度和旋转的描述）
- 你认为ORB-SLAM3和VINS-Fusion的几个不同点？
- Vins mono的初始化和orb slam3的初始化有啥区别？
- 什么是ORB特征，ORB特征的旋转不变性是如何做的？BRIEF算⼦是怎么提取的？