1.Introduction

相机对特征具有较强的追踪性能，但立体视觉对外参标定的依赖过强，对于有细小误差的标定结果可能会导致较大的深度估计误差，然而激光的深度估计误差较小，并且独立于外参估计误差。
目前激光到相机的标定仍是一个活跃领域，精度在几个像素误差之内。
该paper不显式使用任何LIDAR-SLAM算法，实现激光和相机的深度信息融合的里程计和BA，但没有实现回环检测。

pipeline：
monocular image sequence(Camera)

Feature extraction
Feature preprocessing
Frame to frame motion estimation

scale information（LIDAR)

scale estimation

fusion

compute camera poses and 3d structure

2.Feature extraction and preprocessing

该paper使用了viso2实现了特征提取和匹配，viso2包含了非极大值抑制、剔除离群值等功能，能在30-40ms能匹配2000个特征。作者还使用了深度学习来剔除在运动物体上的landmark

3.Scale estimation

思想：从LIDAR中获得被检测到的特征点的深度

A.方法概述

首先将LIDAR点云转换到相机坐标系，然后投影到图像平面，然后对每一个图像特征点f执行一下五步：

选择f周围的ROI中的LIDAR点云集F（块B）
从F中分割除前景集F_seg（块C）
用前景集F_seg拟合平面p（块D)，如果f属于地面，则使用一种特殊的拟合算法（块E）
将p和f对应的视线相交，得到f的深度
对估计的深度执行测试

B.选择邻域(即ROI)

用矩形框作为ROI，ROI中的激光点要能组成一个平面，而不是一条直线上

C.前景分割

由于特征点通常都是角点，如果直接对点集F拟合一个平面，通常都会产生错误的估计，因此需要将前景分割出来。
前景分割算法利用了深度直方图，以深度跳变点作为前后景的分界点，分割后f可以看作是前景平面中的一条边。

D.平面拟合

从F_seg中选择三点张成一个能够稳定估计值的最大面积的三角形F_delta。如果F_delta过小，则不使用该深度估计

E.特例：地面上的点

F_seg拟合得到的平面是垂直于雷达的垂直轴（？我认为是水平轴）的。但在地面上的点是不可以用该方法估计的，因为激光雷达在垂直方向上的精度低于水平方向上的精度。但地面上的点是有价值的，所以利用RANSAC算法对激光雷达点云提取出具有鲁棒拟合特性的地面

4.Frame to frame odometry

用PnP估计相机运动，为了解决具有有效深度的特征点较少的问题，该paper加入了极线约束。为了减少离群值的影响，该paper使用了柯西核函数包裹损失函数和极线约束。

5.后端

该paper提出了一个基于关键帧的BA框架，该框架从结构和软件上独立于先验估计。

A.选择的重要性

衡量了准确率和花销

B.关键帧的选择

C.地标(Landmark)选择

该paper将Landmark分成了三部分：近(Near)，中(Middle)，远(Far)

Near对平移估计较为重要
Middle对平移和旋转都重要
Far对旋转重要
为了保证三维地标的均匀分布，该paper对三维地标采用了中值滤波的体素滤波器。对不同的部分使用了不同的选择策略。

LIMO: Lidar-Monocular Visual Odometry