项目推荐 | 从零开始做自动驾驶定位

点击上方“AI算法修炼营”，选择加星标或“置顶”

标题以下，全是干货

项目链接地址：https://github.com/Little-Potato-1990/localization_in_auto_driving

（后台回复【定位】即可获得完整的项目代码以及文档说明。）

博客专栏地址：https://zhuanlan.zhihu.com/c_1114864226103037952

（点击文章最下方阅读原文，即可获得项目详细教程）

项目总目录

1	开篇
2	数据集
3	软件框架
4	前端里程计之初试
5	前端里程计之代码优化
6	传感器时间同步
7	里程计精度评价
8	点云畸变补偿
9	建图系统结构优化
10	后端优化
11	闭环修正
12	前端里程计扩展
13	关于建图的讨论
14	基于地图的讨论
15	总结

一、这个系列包含哪些内容？

按照时间先后主要包括以下几个模块的实现：

1）3D激光SLAM

包括激光点云地图的建立与基于点云地图的定位。

建图又包括室外大场景建图与室内场景建图，区别是室外大场景必须借助RTK作为约束才能建立精确地图，室内场景由于没有RTK信号，则需要寻找其他约束才能建立闭合地图，比如闭环检测等。

2）点云地图定位基础上添加 IMU 、GNSS、轮速计等信息

仅依赖激光雷达定位，容易受外界环境影响，比如雷达被遮挡，或者进入了空旷地带，所以需要寻找在特性上和它互补的传感器做融合。

3）组合导航

此处组合导航是指“IMU+GNSS”的组合（轮速计一般作为附加项供用户选择，此处我们也会介绍相应的融合方法）。理论上，有了“点云地图定位+IMU+GNSS”的融合，就不再需要“IMU+GNSS”的组合导航系统了，此处仍然把它作为一个模块来做，是由自动驾驶的现状决定的，具体来讲就包括这样几个方面：

早期自动驾驶很多借助于组合导航系统来做定位，导致后来转成多传感器融合以后，很多都是购买一套“IMU+GNSS”的导航系统成品，然后再在此基础上加上雷达定位做融合。所以对组合导航的原理和具体实现做深入了解是很有必要的。

有些场景下的自动驾驶是使用雷达做定位的，所以这时候即使自己开发，能使用的传感器也只是IMU、GNSS、轮速计这些，所以这仍然是组合导航的范畴。

4）后处理

诺瓦泰的PP7在自动驾驶里的出镜率很高，如果使用过，那么对它的后处理软件“IE”应该也不陌生。后处理这个东西简单来讲就是给融合系统增加了将来视角，它会根据采集的数据对历史时刻的导航结果做修正，这样做的主要目的是在建立地图的时候使用，以对点云的位姿进一步优化，获得更高的地图精度。

二、各个模块的介绍会深入到什么程度？

如果做过实际工程项目的应该了解一点，那就是实际工程效果的提升多数是因为一些小的工程技巧，而不是原理上的突破。本系列只会介绍对应的基本原理及其实现，而不会介绍太多工程技巧。

三、这个系列的风格特点

面向读者的输出是什么样的风格，取决于以哪些人作为目标读者。

本系列面向的实际是初学者，或者对以上各模块中的一块有了解，对其他模块接触较少的读者。（看到这里，求各位大佬别出门就走，也恳请各位能加个关注，在以后专栏更新的过程中多提宝贵意见）

所以本系列文章以及代码的开发会有以下特点：

1）会横向对比多种方法

比如激光SLAM的前端会使用ndt、icp、特征匹配等方式各实现一遍，滤波会对比卡尔曼滤波、粒子滤波等方法，后端优化也会使用g2o、gtsam、ceres各实现一遍去对比，通过对比我们才能知道他们之间的区别，进而在以后的使用中知道在什么情况下选用什么方法。

2）会展示完整过程

我们在软件开发过程中，会逐渐地发现问题、解决问题，直到开发结束，得到一个成熟的系统，这个系统的框架和开发之前的设计会有很大差别。这时候如果再让你开发一套类似的系统，你可能会直接按照以前的经验，就直接设计一套成熟的框架了。

这里的展示完整过程是指，我之前设计过这类系统，但是在本系列里，我不想直接给出最终的成熟框架，而是更倾向于再展示一遍第一次开发时遇到的那些问题。这是因为对于没有开发过这类系统的读者来讲，直接给他一个成熟框架，它可能用起来顺手，但是它不清楚为什么这么写，而我们从最简单的想法开始写起，随着进度的推进，系统的逐渐扩大，遇到问题时我们再针对问题去改进之前的简单框架，这样所有的读者就会知其然而且知其所以然，明白框架中每一个设计细节背后的原因。

这会导致一个问题，就是各个时期的版本在架构上可能会差距比较大，代码读起来要多花些精力，可能会默默在心里飙脏话，这也是我要重点解释这一点的原因。

3）使用ROS作为调试环境

对于ROS的各种诟病想必各位也都了解，很多公司如果人手足够，都自己开发框架了。这里仍然使用它来作为调试环境，是因为如果抛弃ROS就要自己写环境，包括显示系统等，也就是要自己造轮子，而这个轮子其实和我们重点介绍的融合算法关系不大，我希望我们能把主要精力用在算法上。

目标检测系列

• 秘籍一：模型加速之轻量化网络

• 秘籍二：非极大值抑制及回归损失优化

• 秘籍三：多尺度检测

• 秘籍四：数据增强

• 秘籍五：解决样本不均衡问题

• 秘籍六：Anchor-Free

视觉注意力机制系列

• Non-local模块与Self-attention之间的关系与区别？

• 视觉注意力机制用于分类网络：SENet、CBAM、SKNet

• Non-local模块与SENet、CBAM的融合：GCNet、DANet

• Non-local模块如何改进？来看CCNet、ANN

语义分割系列

• 一篇看完就懂的语义分割综述

• 最新实例分割综述：从Mask RCNN 到 BlendMask

• 超强视频语义分割算法！基于语义流快速而准确的场景解析

• CVPR2020 | HANet:通过高度驱动的注意力网络改善城市场景语义分割
  

基础积累系列

• 卷积神经网络中的感受野怎么算？
  

• 图片中的绝对位置信息，CNN能搞定吗？

• 理解计算机视觉中的损失函数

• 深度学习相关的面试考点总结
  

自动驾驶学习笔记系列

•  Apollo Udacity自动驾驶课程笔记——高精度地图、厘米级定位

•  Apollo Udacity自动驾驶课程笔记——感知、预测

•  Apollo Udacity自动驾驶课程笔记——规划、控制

• 自动驾驶系统中Lidar和Camera怎么融合？
  

竞赛与工程项目分享系列

• 如何让笨重的深度学习模型在移动设备上跑起来

• 基于Pytorch的YOLO目标检测项目工程大合集

• 目标检测应用竞赛：铝型材表面瑕疵检测

• 基于Mask R-CNN的道路物体检测与分割
  

SLAM系列

• 视觉SLAM前端：视觉里程计和回环检测

• 视觉SLAM后端：后端优化和建图模块

• 视觉SLAM中特征点法开源算法：PTAM、ORB-SLAM

• 视觉SLAM中直接法开源算法：LSD-SLAM、DSO

• 视觉SLAM中特征点法和直接法的结合：SVO
  

• 2020年最新的iPad Pro上的激光雷达是什么？来聊聊激光SLAM