如何理解SLAM用到的传感器轮式里程计IMU、雷达、相机的工作原理与使用场景？

视觉惯性里程计 综述 VIO Visual Inertial Odometry msckf ROVIO ssf msf okvis ORB-VINS VINS-Mono gtsam

里程计（Odometry）

里程计是衡量我们从初始位姿到终点位姿的一个标准，通俗的说，我们要实现机器人的定位与导航，就需要知道机器人行进了多少距离，是往哪个方向行进的。

视觉里程计（Visual Odometry）

视觉里程计根据载体运动中的周边环境进行相对定位，可以解决在没有卫星信号的情况下，载体的导航定位问题。计机器人和视觉领域，不仅仅要知道行驶的距离，而且要知道机器人行驶的整个轨迹（机器人每个时刻的位置和姿态）我们记着在时间t时刻机器人的位置和姿态信息是(xt,yt,zt,r,p,y)，其中xt,yt,zt表示机器人在世界坐标系中的位置信息，r,p,y表示机器人的姿态，分别表示为roll,pitch,yaw。我们将一个摄像头（或多个摄像头）刚性连接到一个移动的物体上（如机器人），通过摄像头采集的视频流来确定相机的6自由度，如果使用1个摄像头，则称为单目视觉里程计，如果使用两个（或者更多）摄像机，则称为立体视觉里程计。视觉里程计就是一个通过分析处理相关图像序列来确定机器人的位置和姿态也就是运动。它的主要方式分为特征点法和直接方法。其中，特征点方法目前占据主流，能够在噪声较大、相机运动较快时工作，但地图则是稀疏特征点；直接方法不需要提特征，能够建立稠密地图，但存在着计算量大、鲁棒性不好的缺陷。

视觉里程计的步骤：
1.获得图像
2.对获得图像进行畸变处理
3.通过FAST算法对图像进行特征检测，通过KLT算法跟踪这些特征到图像中，如果跟踪特征有所丢失，特征数小于某个阈值，则重新进行特征检测
4.通过带RANSAC的5点算法来估计两幅图像的本质矩阵
5.通过计算的本质矩阵进行估计R,t
6.对尺度信息进行估计，最终确定旋转矩阵和平移向量

单目视觉里程计(monocular Visual Odometry)

双目视觉里程计(stereo Visual Odometry)

双目视觉里程计数学原理
Input:左右相机图像序列，时刻t和t+1时采集的图像表示为It和It+1，相机内参文件已提前标定好。
Output:针对不同帧图像对，需要估算出两帧图像之间的旋转矩阵R和平移向量T。

1.捕捉图像对It，It+1；
2.对以上图像进行畸变校准；
3.计算时刻t和t+1的视差图；
4.使用FAST算法检测图像It中的特征，并与图像It+1中的特征匹配；
5.利用深度图，计算上一步中匹配特征点的3D坐标值，此时，获得两组点云数据；
6.选取点云数据中的一部分子集，使得所有的匹配都是互相兼容的；
7.估算上一步检测中的内点(inliers)。

视觉惯性里程计(visual-inertial Odometry)

视觉里程计与惯导融合根据融合方式不同分为松耦合和紧耦合，松耦合中视觉里程计和惯导系统是相互独立的，对各自求解的位姿结果进行融合。紧耦合中各子系统在各自解算位姿之前，将图像和惯导原始信息融合进行参数估计。紧耦合与松耦合相比，计算复杂度大，但是对原始数据利用更加充分。

VINS-Mono|A Robust and Versatile Monocular Visual-Inertial State Estimator
https://github.com/HKUST-Aerial-Robotics/VINS-Mono

VINS-Fusion|An optimization-based multi-sensor state estimator
https://github.com/HKUST-Aerial-Robotics/VINS-Fusion

VINS-Fusion 是继 VINS-Mono 和 VINS-Mobile（单目视觉惯导 SLAM 方案）后，香港科技大学沈劭劼老师开源的双目视觉惯导 SLAM 方案，VINS-Fusion 是一种基于优化的多传感器状态估计器，可实现自主应用（无人机，汽车和 AR / VR）的精确自定位。 VINS-Fusion 是 VINS-Mono 的扩展，支持多种视觉惯性传感器类型（单目摄像机+ IMU，双目摄像机+ IMU，甚至仅限双目摄像机）。

轮式里程计odometry 编码器 编码轮encoder

在里程（Odometry）计问题中，我们希望测量一个运动物体的轨迹。这可以通过许多不同的手段来实现。例如，我们在汽车轮胎上安装计数码盘，就可以得到轮胎转动的距离，从而得到汽车的估计。或者，也可以测量汽车的速度、加速度，通过时间积分来计算它的位移。完成这种运动估计的装置（包括硬件和算法）叫做里程计（Odometry）。 里程计的航迹推算定位方法主要基于光电编码器在采样周期内脉冲的变化量计算出车轮相对于地面移动的距离和方向角的变化量，从而推算出移动机器人位姿的相对变化。

轨迹是由一个个位置组成的，这里的位置实际上是位姿，包括坐标值和角度，表示位置和位姿的方法有： 欧拉角，四元数，罗德里格斯等。

轮式里程计，容易受到不平地形以及恶劣环境的影响，导致计数出现偏差， 而VO不会出现这样的情况。可能的计算方式就是通过计算车轮滚动的次数乘以轮子的周长，但是里程计会遇到精度的问题，例如轮子打滑，随着时间的增加，误差会变得越来越大。

轮式里程计的原理其实很简单，因为汽车车轮的直径已知，车轮的圆周长便是恒定不变的。由此可以计算出每走一里路车轮要转多少圈，这个数也是恒定不变的。因此只要能够自动把车轮的转数积累下来，然后除以每一里路对应的转数就可以得到行驶的里程了。

导航功能包集需要获取机器人的里程计信息，里程计信息是机器人相对于某一点的距离，对应到坐标系就是base_link坐标系到odom坐标系原点的距离。

ROS里程计的学习(odometry) (一)
ROS里程计的学习(odometry) (二)
ROS里程计的学习(odometry) (三)

相对定位方法常用的内部传感器主要包括里程计、惯性传感器IMU。

多传感器融合

陀螺仪（gyroscope）

陀螺仪是一种传感器（gyroscope; gyro）是指工程中具有固定点的、绕对称轴做高速自转的对称刚体，其自转轴称为陀螺主轴。在旋转坐标系中,运动的物体受到科氏力作用。

主要用来测量物体的旋转角速度,按测量原理分有振动陀螺,光纤陀螺等。低端微机电陀螺仪（MEMS）上一般采用振动陀螺原理，一个主动
运动轴 + 一个敏感轴通过测量科里奥利力(Coriolis force) 在内部产生微小的电容变化，然后测量电容，计算出角速度，替代陀螺仪。

iPhone和我们的智能手机里面用来检测手机姿态，体感游戏拍照防抖用到的陀螺仪，就是微机电陀螺仪（MEMS）。
目前，传统上的机械陀螺仪正在被淘汰，有高精度需求的地方用的是激光陀螺仪，而普及方面则是微机电陀螺仪。

IMU惯性测量单元

惯性测量单元 Inertial measurement unit，一般包含了三个单轴的加速度计和三个单轴的陀螺仪，简单理解通过加速度二次积分就可以得到位移信息、通过角速度积分就可以得到三个角度，实时要比这个复杂许多，三轴的加速度计用于输出物体在载体坐标系统中的三个坐标轴方向上的加速度信息，三轴的陀螺仪用于输出载体相对于导航坐标系的三个坐标轴方向上的角速度信息

通常指由3个加速度计和3个陀螺仪组成的组合单元，测量物体三轴姿态角（或角速率）及加速度的装置。加速度计和陀螺仪安装在互相垂直的测量轴上。低精度的IMU可以通过其他方式修正，GPS用于修正位置的长期漂移，气压计用于修正高度，磁力计用于修正姿态。陀螺仪和加速度计，是惯性导航系统的核心装置。借助内置的加速度传感器和陀螺仪，IMU 包含三组陀螺仪和加速度传感器，分别测量三个自由度的角加速度和线加速度，通过对加速度的积分和初始速度、位置的叠加运算，得到物体在空间位置中的运动方向和速度，因此随着时间的增长，会出现比较大的误差累积，速度累积误差和时间成正比，位置的误差随着时间的平方累积，所以惯性导航需要融合其他导航系统来保证系统的长期稳定性。所以很少只是用IMU的。结合惯性导航系统内的运动轨迹设定，对航向和速度进行修正以实现导航功能。 IMU 可获得载体的姿态、速度和位移等信息，被广泛用于汽车、机器人领域，

目前来说，市面上存在的 IMU 以 6 轴与 9 轴为主。6 轴 IMU 包含一个三轴加速度传感器，一个三轴陀螺仪；9 轴 IMU 则多了一个三轴的磁力计。另外，对于采用 MEMS 技术的 IMU，一般还内置有温度计进行实时的温度校准。无论是 6 轴或 9 轴 IMU，都可实时的输出三维的角速度信号与加速度信号，以此解算出物体的当前姿态。这在在平台稳定与导航中有着重要的应用价值。

IMU 的原理和黑暗中走小碎步很相似。在黑暗中，由于自己对步长的估计和实际走的距离存在误差，走的步数越来越多时，自己估计的位置与实际的位置相差会越来越远。走第一步时，估计位置与实际位置还比较接近；但随着步数增多，估计位置与实际位置的差别越来越大。根据此方法推广到三维，就是惯性测量单元的原理。

学术上以牛顿力学定律为基础，通过测量载体在惯性参考系的加速度，将它对时间进行积分，且把它变换到导航坐标系中，就能够得到在导航坐标系中的速度、偏航角和位置等信息。

摄像头

目前的主流视觉深度传感器方案主要分结构光，Time-of-Flight 和纯双目三类。双目跟结构光一样，都是使用三角测量法根据物体匹配点的视差反算物体距离，只是双目是用自然光，而结构光是用主动光发射特定图案的条纹或散斑。ToF 是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行（往返）时间来得到目标物距离。



RealSense D435i RGBD深度摄像头 硬件结构及各个组件原理详解

LIDAR激光雷达

LIDAR（Light Detection And Ranging）激光探测与测量
LIDAR是一种集激光，全球定位系统（GPS）和惯性导航系统（INS）三种技术与一身的系统，用于获得数据并生成精确的DEM。这三种技术的结合，可以高度准确地定位激光束打在物体上的光斑。它又分为目前日臻成熟的用于获得地面数字高程模型（DEM）的地形LIDAR系统和已经成熟应用的用于获得水下DEM的水文LIDAR系统，这两种系统的共同特点都是利用激光进行探测和测量。

激光本身具有非常精确的测距能力，其测距精度可达几个厘米，而LIDAR系统的精确度除了激光本身因素，还取决于激光、GPS及惯性测量单元（IMU）三者同步等内在因素。随着商用GPS及IMU的发展，通过LIDAR从移动平台上（如在飞机上）获得高精度的数据已经成为可能并被广泛应用。

利用GPS（Global Position System）和IMU（Inertial Measurement Unit，惯性测量装置）机载激光扫描。

激光是20世纪以来继核能、电脑、半导体之后，又一重大发明，被称为“最快的刀”、“最准的尺”、“最亮的光”，激光是原子受激辐射的光。

原子中的电子吸收能量后从低能级跃迁到高能级，再从高能级回落到低能级的时候，所释放的能量以光子的形式放出。被引诱（激发）出来的光子束（激光），其中的光子光学特性高度一致。其所测得的数据为数字表面模型(Digital Surface Model, DSM)的离散点表示，数据中含有空间三维信息和激光强度信息。

激光测量装置，用于测量传感器到地面的距离；GPS:用于确定扫描仪中心的空间位置；姿态测量装置( IMU) ,用于测量扫描装置主光轴的空间姿态参数；激光雷达主要是通过发射激光束，来探测目标的位置、速度等特征量。车载激光雷达普遍采用多个激光发射器和接收器，建立三维点云图，从而达到实时环境感知的目的。

从当前车载激光雷达来看，机械式的多线束激光雷达是主流方案。激光雷达的优势在于其探测范围更广，探测精度更高。但是，激光雷达的缺点也很明显：在雨雪雾等极端天气下性能较差，采集的数据量过大，价格十分昂贵。目前百度和谷歌无人驾驶汽车车身上的64位激光雷达，售价高达70万元人民币。激光发射器线束的越多，每秒采集的云点就越多，探测性能也就更强。然而线束越多也就代表着激光雷达的造价就更加昂贵，64线束的激光雷达价格是16线束的10倍。作为ADAS不可或缺的核心传感器类型，毫米波雷达从上世纪起就已在高档汽车中使用，技术相对成熟。毫米波的波长介于厘米波和光波之间，因此毫米波兼有微波制导和光电制导的优点，且其引导头具有体积小、质量轻和空间分辨率高的特点。此外，毫米波导引头穿透雾、烟、灰尘的能力强，相比于激光雷达是一大优势。而毫米波雷达的缺点也十分直观，探测距离受到频段损耗的直接制约（想要探测的远，就必须使用高频段雷达），也无法感知行人，并且对周边所有障碍物无法进行精准的建模。受益于技术相对成熟，毫米波雷达在单价方面，只能算是激光雷达的九牛一毛，单体价格大约在100美元左右。并且车载毫米波雷达的市场需求也相对更多，带来的规模效益有望进一步拉低成本。激光雷达主要是通过发射激光束，来探测目标的位置、速度等特征量。
车载激光雷达普遍采用多个激光发射器和接收器，建立三维点云图，从而达到实时环境感知的目的。激光雷达的优势在于其探测范围更广，探测精度更高。但是，激光雷达的缺点也很明显：在雨雪雾等极端天气下性能较差，采集的数据量过大，价格十分昂贵。

RADAR电磁波雷达

RADAR（radio detection and ranging）“无线电探测和测距” ，即用无线电的方法发现目标并测定它们的空间位置。
微波是频率为30-300GHz（波长1-10mm）的电磁波，是无线电波中一个有限频带的简称，即波长在0.1毫米~1米之间的电磁波，是分米波、厘米波、毫米波、亚毫米波的统称。微波的特征：微波频率比一般的无线电波频率高，通常也称为“超高频电磁波”。微波作为一种电磁波也具有波粒二象性。微波的基本性质通常呈现为穿透、反射、吸收三个特性。利用电磁波探测目标的电子设备，发射电磁波对目标进行照射并接收其回波，由此获得目标至电磁波发射点的距离、距离变化率（径向速度）、方位、高度等信息。毫米波实质上就是电磁波，频率为30-300GHz（波长1-10mm）。毫米波的波长介于厘米波和光波之间，因此毫米波兼有微波制导和光电制导的优点，且其引导头具有体积小、质量轻和空间分辨率高的特点。毫米波雷达就是指工作频段在毫米波频段的雷达，测距原理跟一般雷达一样，也就是把无线电波(雷达波)发出去，然后接收回波，根据收发之间的时间差测得目标的位置数据。毫米波雷达就是这个无线电波的频率是毫米波频段。毫米波雷达具有探测性能稳定、作用距离较长、环境适用性好等特点。与超声波雷达相比，毫米波雷达具有体积小、质量轻和空间分辨率高的特点。与红外、激光、摄像头等光学传感器相比，毫米波雷达穿透雾、烟、灰尘的能力强，具有全天候全天时的特点。毫米波导引头穿透雾、烟、灰尘的能力强，相比于激光雷达是一大优势。传输损失大，无法感知行人，并且对周边所有障碍物无法进行精准的建模。

红外线

红外是红外线的简称，是一种电磁波，可以实现数据的无线传输。
红外传输是一种点对点的传输方式，无线，不能离的太远，要对准方向，且中间不能有障碍物也就是不能穿墙而过，几乎无法控制信息传输的进度。

RFID

RFID射频识别是一种非接触式的自动识别技术，它通过射频信号自动识别目标对象并获取相关数据，识别工作无须人工干预，可工作于各种恶劣环境。RFID技术可识别高速运动物体并可同时识别多个标签，操作快捷方便。
RFID电子标签是一种突破性的技术：“第一，可以识别单个的非常具体的物体，而不是像条形码那样只能识别一类物体；第二，其采用无线电射频，可以透过外部材料读取数据，而条形码必须靠激光来读取信息；第三，可以同时对多个物体进行识读，而条形码只能一个一个地读。此外，储存的信息量也非常大。”
RFID技术的基本工作原理并不复杂：标签进入磁场后，接收解读器发出的射频信号，凭借感应电流所获得的能量发送出存储在芯片中的产品信息（PassiveTag，无源标签或被动标签），或者主动发送某一频率的信号（ActiveTag，有源标签或主动标签）；解读器读取信息并解码后，送至中央信息系统进行有关数据处理。

相机、IMU、odom多传感器标定汇总

单独传感器相机的标定

单个的普通相机和鱼眼标定
kalibr标定鱼眼摄像头

双目标定

如何用ROS官方程序标定两个单目相机制作双目相机测试rtabmap三维重建算法详细教程

联合标定

关于camera和odometer的标定

2d Laser 和 Odomter 内外参数标定工具原理及使用方法

自动驾驶系统的传感器标定方法

扫地机器人

扫地机器人工作原理、传感器原理、结构、工作流程、路径规划技术

无人驾驶汽车

https://www.zhihu.com/people/ChenGuang924