SLAM学习

SLAM（Simultaneous localization and mapping，即时定位与地图构建），主要用于解决机器人在未知环境运动时的定位与地图构建问题。

一、 SLAM典型应用领域

1. 自动驾驶
作为激光传感器的辅助（百度、腾讯、驭势、图森）
2. AR\VR
辅助增强视觉效果，该算法能够构建视觉效果更为真实的地图，将当前视角渲染虚拟物体的叠加效果，VR/AR代表性产品中微软Hololens、谷歌ProjectTango以及MagicLeap都应用了SLAM作为视觉增强手段。
增强现实：手机、智能眼镜上结合IMU用于定位（微软、三星、华为、虹软、悉见）
3. 机器人
无人机领域：地图建模。SLAM可以快速构建局部3D地图，并与地理信息系统（GIS）、视觉对象识别技术相结合，可以辅助无人机识别路障并自动避障规划路径，曾经刷爆美国朋友圈的Hovercamera无人机，就应用到了SLAM技术。
机器人定位导航领域：地图建模。SLAM可以辅助机器人执行路径规划、自主探索、导航等任务。国内的科沃斯、塔米、岚豹等扫地机器人都是通过SLAM算法结合激光雷达或者摄像头的方法，可以告知绘制室内地图，智能分析和规划扫地路径。
工业机器人定位导航：阿里，京东AGV仓库运输。
4. 三维重建
物体重建（3D打印，3D虚拟试衣）
大场景重建（虚拟全景漫游，遗迹电子化）

二、 SLAM框架

传感器数据：主要用于采集实际环境中的各类型原始数据。包括激光扫描数据、视频图像数据、点云数据等。
视觉里程计：主要用于不同时刻间移动目标相对位置的估算。包括特征匹配、直接配准等算法的应用。
后端：主要用于优化视觉里程计带来的累计误差。包括滤波器、图优化等算法应用。
建图：用于三维地图构建。
回环检测：主要用于空间累积误差消除。
其工作流程大致为：
传感器读取数据后，视觉里程计估计两个时刻的相对运动（Ego-motion），后端处理视觉里程计估计结果的累积误差，建图则根据前端与后端得到的运动轨迹来建立地图，回环检测考虑了同一场景不同时刻的图像，提供了空间上约束来消除累积误差。

三、 研究现状

国内研究现状
95 昆船集团 AGV 智能移动机器人导航系统
00 昆船推出了具有自主知识产权的激光导航产品
08 以粒子滤波为工具，研究了机器人动态定位并用于跟踪动态目标
12 基于离散优化的多假设数据关联方法，有效改善了定位精度
12 根据点云配准算法，提出使用SURF（加速稳健特征）的改进算法
13 基于图优化的SLAM算法框架及关键技术解决思路
14 采用平方根容积Rao-Blackwellized粒子滤波的SLAM算法
在商业领域，以埃斯顿、浙江国自、广州远能等为代表的工业应用型企业；怡丰、云迹科技等为代表的商用应用型企业；科沃斯、寒武纪机器人为代表的民用企业广泛活跃在国内移动机器人市场，推出了数款应用SLAM技术的落地产品。
近年来如布科思、思岚科技等众多致力于提供成熟解决方案的模块化定制的企业不断增多，以安防巡检机器人出名的斯坦德等厂商在提供完整机器人系统的基础上，也开放提供自用型激光SLAM解决方案。

四、 SLAM分类（基于传感器SLAM分类）

1. 激光雷达
激光SLAM采用2D或3D激光雷达（也叫单线或多线激光雷达），2D激光雷达一般用于室内机器人上（如扫地机器人），而3D激光雷达一般使用于无人驾驶领域。激光雷达的出现和普及使得测量更快更准，信息更丰富。激光雷达采集到的物体信息呈现出一系列分散的、具有准确角度和距离信息的点，被称为点云。通常，激光SLAM系统通过对不同时刻两片点云的匹配与比对，计算激光雷达相对运动的距离和姿态的改变，也就完成了对机器人自身的定位。
2. 视觉传感器
视觉SLAM（VSLAM）它可以从环境中获取海量的、富于冗余的纹理信息，拥有超强的场景辨识能力。早期的视觉SLAM基于滤波理论，其非线性的误差模型和巨大的计算量成为了它实用落地的障碍。
VSLAM使用视觉传感器，包单目、双目、RGB-D摄像机。
单目和双目摄像头有什么区别？
单目摄像头的缺点在于需要大量数据，并且不断更新和维护，而且针对一些特殊地区特殊情况，还需要不断优化。例如内蒙古大草原上经常有牛羊横穿公路，那你就需要更新数据，让机器知道这是牛，那是羊。数据收集、标签的难度确实有些大。
单目摄像头需要对目标进行识别，也就是说在测距前先识别障碍物是车、人还是别的什么。在此基础上再进行测距。而双目摄像头则更加像人类的双眼，主要通过两幅图像的视差计算来确定距离。也就是说，双目摄像头不需要知道障碍物是什么，只要通过计算就可以测距。
双目摄像头当然也不是十全十美，因为需要靠计算来进行测距。其最大的难点就在于计算量巨大。这带来的直接问题就是小型化难度很大。这并非小事，无论前装后装，合适的大小是非常重要的指标。
在RGB-D 相机测量出各像素点的深度后，自己实现深度和彩色图像像素间的配对，从而输出对应彩色图像的深度图像。
3. IMU
IMU 全称 inertial measurement unit，即惯性测量单元，它由三个单轴的加速度计和三个单轴的陀螺仪组成，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺仪检测载体相对于导航坐标系的角速度信号，对这些信号进行处理之后，便可解算出物体的姿态。
该技术的出现弥补了 GPS 定位的不足，两者相辅相成，可以让自动驾驶汽车获得最准确的定位信息。
IMU 提供的是一个相对的定位信息，它的作用是测量相对于起点物体所运动的路线，所以它并不能提供你所在的具体位置的信息，因此，它常常和 GPS 一起使用，当在某些 GPS 信号微弱的地方时，IMU 就可以发挥它的作用，可以让汽车继续获得绝对位置的信息，不至于“迷路”。

4. 优缺点
激光雷达测距比较准确，误差模型简单，在强光直射以外的环境中运行稳定，点云的处理也比较容易。同时，点云信息本身包含直接的几何关系，使得机器人的路径规划和导航变得直观。激光SLAM理论研究也相对成熟，落地产品更丰富。
VSLAM的优点是它所利用的丰富纹理信息。例如两块尺寸相同内容却不同的广告牌，基于点云的激光SLAM算法无法区别他们，而视觉则可以轻易分辨。这带来了重定位、场景分类上无可比拟的巨大优势。同时，视觉信息可以较为容易的被用来跟踪和预测场景中的动态目标，如行人、车辆等，对于在复杂动态场景中的应用这是至关重要的。视觉传感器容易受到光照因素的影响，在夜晚及光照条件不充分的弱条理下难以正常工作。而激光SLAM，在较弱硬件支持下也能生成精度较高并且可用于机器人任务执行的地图上。由此可见，在定位要求精度极高的工业领域，激光SLAM方案凭借其高可靠性与低集成成本，因而依旧有着存在的价值和研究意义。
VSLAM存在着输出频率低的问题，而惯性传感器IMU有输出频率高的优点。同时，视觉SLAM在进行快速移动时它的定位效果不好，容易丢失，而IMU对于短时间内快速移动，却有很好的估计。由此可见，IMU传感器与视觉传感器存在着互补关系，如果能够将两者融合，就可以大大提高SLAM的精度。

五、 公开数据集

1. TUM RGB-D SLAM Dataset and Benchmark
   德国慕尼黑理工大学计算机视觉组制作的数据集，使用Kinect相机采集的数据集，包括IMU数据，并且用高精度运动采集系统提供了groundtruth（真值）。提供测试脚本，可以方便的实现量化评估。
2. KITTI Vision Benchmark Suite
   德国卡尔斯鲁厄理工学院和丰田工业大学芝加哥分校一起合作制作的用于自动驾驶的数据集。
   使用一辆改装的汽车采集，该车配备了两台高分辨率彩色和灰度摄像机，还有Velodyne激光扫描仪和GPS定位系统，用来提供精确的groundtruth。主要采集区域是卡尔斯鲁厄市区、农村地区和高速公路。提供测试脚本可以方便的实现量化评估。
   3. EuRoC MAV Dataset
   苏黎世联邦理工大学制作的数据集，采用装备了双目相机和IMU的四旋翼无人机采集数据，使用高精度运动采集系统提供了groundtruth。提供测试脚本，可以方便的实现量化评估。

六、 开源方案

七、 视觉SLAM发展

视觉定位：机器人运动过程中构建环境模型和地标，打造室内“视觉GPS”系统。
地图构建：通过多传感器融合技术实时构建高精度，可持久使用的室内地图；
语义地图：使用深度神经网络对地图信息进行分割理解，形成具有丰富语义信息的室内地图；
有理解力的SLAM：语义SLAM，精准感知并适应环境。将语义分析与SLAM有效融合，增强机器对环境中相互作用的理解能力，为机器人赋予了复杂环境感知力和动态场景适应力。
**有广度的SLAM：**100万平米强大建图能力。借助高效的环境识别、智能分析技术，室内外全场景范围高达100万平米的地图构建能力。
有精度的SLAM：高精度定位领先算法。可在任何地点进行开机识别、全局定位，精准度高达±2cm。
有时效的SLAM：动态地图实时更新。根据传感器回传数据，与原有地图进行分析比对，完成动态实时更新，实现life-long SLAM。

八、 VSLAM未来趋势

1.导航定位与建图
　　视觉SLAM：SLAM快速识别地图坐标， 实现设备、特定目标长时间、高精度定位
　　高精度SLAM：基于视觉+惯性传感器的高精度SLAM算法，媲美激光雷达的定位精度
　　实时稠密地图构建：通过摄像头获取场景中的稠密点云信息，建立场景的栅格占用地图
　　路径规划：基于实时构建的场景地图，让机器感知现实场景，实现自主最优路径规划
　　导航避障：通过摄像头获取场景中的稠密点云信息，建立场景的栅格占用地图，基于智能避障算法，满足机器人精准避障的需求

2.高精度语义地图
　　深度学习图像语义：轻量化模型精准识别百余类物体
　　稠密地图语义分割及匹配：将稠密地图按照物体的语义信息进行分割及匹配，帮助机器理解图像内容，以实现通行区域感知及避障
　　语义SLAM：SLAM结合深度学习，实现精准的场景环境语义分析，提升SLAM系统精度
　　物体识别及环境语义：基于轻量化深度学习模型的物体识别，并结合场景地图提供环境语义

3.多传感器融合及标定
　　多传感器融合：视觉、惯性、里程计、GNSS等多传感器融合，满足不同场景信息需求，优势互补，提高系统精度
　　传感器误差建模：分析传感器误差源，对传感器进行高精度误差建模
　　快速、低成本传感器标定：大幅降低传感器标定成本，实现快速高精度传感器标定
　　高性能低成本硬件：消费级传感器及低成本计算单元即可满足高精度前端解算