项目推荐 | 从零开始做自动驾驶定位
点击上方“AI算法修炼营”，选择加星标或“置顶”
标题以下，全是干货
项目链接地址：https://github.com/Little-Potato-1990/localization_in_auto_driving
（后台回复【定位】即可获得完整的项目代码以及文档说明。）
博客专栏地址：https://zhuanlan.zhihu.com/c_1114864226103037952
（点击文章最下方阅读原文，即可获得项目详细教程）
项目总目录
1 |
开篇 |
2 |
数据集 |
3 |
软件框架 |
4 |
前端里程计之初试 |
5 |
前端里程计之代码优化 |
6 |
传感器时间同步 |
7 |
里程计精度评价 |
8 |
点云畸变补偿 |
9 |
建图系统结构优化 |
10 |
后端优化 |
11 |
闭环修正 |
12 |
前端里程计扩展 |
13 |
关于建图的讨论 |
14 |
基于地图的讨论 |
15 |
总结 |
一、这个系列包含哪些内容？
按照时间先后主要包括以下几个模块的实现：
1）3D激光SLAM
包括激光点云地图的建立与基于点云地图的定位。
建图又包括室外大场景建图与室内场景建图，区别是室外大场景必须借助RTK作为约束才能建立精确地图，室内场景由于没有RTK信号，则需要寻找其他约束才能建立闭合地图，比如闭环检测等。
2）点云地图定位基础上添加 IMU 、GNSS、轮速计等信息
仅依赖激光雷达定位，容易受外界环境影响，比如雷达被遮挡，或者进入了空旷地带，所以需要寻找在特性上和它互补的传感器做融合。
3）组合导航
此处组合导航是指“IMU+GNSS”的组合（轮速计一般作为附加项供用户选择，此处我们也会介绍相应的融合方法）。理论上，有了“点云地图定位+IMU+GNSS”的融合，就不再需要“IMU+GNSS”的组合导航系统了，此处仍然把它作为一个模块来做，是由自动驾驶的现状决定的，具体来讲就包括这样几个方面：
早期自动驾驶很多借助于组合导航系统来做定位，导致后来转成多传感器融合以后，很多都是购买一套“IMU+GNSS”的导航系统成品，然后再在此基础上加上雷达定位做融合。所以对组合导航的原理和具体实现做深入了解是很有必要的。
有些场景下的自动驾驶是使用雷达做定位的，所以这时候即使自己开发，能使用的传感器也只是IMU、GNSS、轮速计这些，所以这仍然是组合导航的范畴。
4）后处理
诺瓦泰的PP7在自动驾驶里的出镜率很高，如果使用过，那么对它的后处理软件“IE”应该也不陌生。后处理这个东西简单来讲就是给融合系统增加了将来视角，它会根据采集的数据对历史时刻的导航结果做修正，这样做的主要目的是在建立地图的时候使用，以对点云的位姿进一步优化，获得更高的地图精度。
二、各个模块的介绍会深入到什么程度？
如果做过实际工程项目的应该了解一点，那就是实际工程效果的提升多数是因为一些小的工程技巧，而不是原理上的突破。本系列只会介绍对应的基本原理及其实现，而不会介绍太多工程技巧。
三、这个系列的风格特点
面向读者的输出是什么样的风格，取决于以哪些人作为目标读者。
本系列面向的实际是初学者，或者对以上各模块中的一块有了解，对其他模块接触较少的读者。（看到这里，求各位大佬别出门就走，也恳请各位能加个关注，在以后专栏更新的过程中多提宝贵意见）
所以本系列文章以及代码的开发会有以下特点：
1）会横向对比多种方法
比如激光SLAM的前端会使用ndt、icp、特征匹配等方式各实现一遍，滤波会对比卡尔曼滤波、粒子滤波等方法，后端优化也会使用g2o、gtsam、ceres各实现一遍去对比，通过对比我们才能知道他们之间的区别，进而在以后的使用中知道在什么情况下选用什么方法。
2）会展示完整过程
我们在软件开发过程中，会逐渐地发现问题、解决问题，直到开发结束，得到一个成熟的系统，这个系统的框架和开发之前的设计会有很大差别。这时候如果再让你开发一套类似的系统，你可能会直接按照以前的经验，就直接设计一套成熟的框架了。
这里的展示完整过程是指，我之前设计过这类系统，但是在本系列里，我不想直接给出最终的成熟框架，而是更倾向于再展示一遍第一次开发时遇到的那些问题。这是因为对于没有开发过这类系统的读者来讲，直接给他一个成熟框架，它可能用起来顺手，但是它不清楚为什么这么写，而我们从最简单的想法开始写起，随着进度的推进，系统的逐渐扩大，遇到问题时我们再针对问题去改进之前的简单框架，这样所有的读者就会知其然而且知其所以然，明白框架中每一个设计细节背后的原因。
这会导致一个问题，就是各个时期的版本在架构上可能会差距比较大，代码读起来要多花些精力，可能会默默在心里飙脏话，这也是我要重点解释这一点的原因。
3）使用ROS作为调试环境
对于ROS的各种诟病想必各位也都了解，很多公司如果人手足够，都自己开发框架了。这里仍然使用它来作为调试环境，是因为如果抛弃ROS就要自己写环境，包括显示系统等，也就是要自己造轮子，而这个轮子其实和我们重点介绍的融合算法关系不大，我希望我们能把主要精力用在算法上。
目标检测系列
秘籍一：模型加速之轻量化网络
秘籍二：非极大值抑制及回归损失优化
秘籍三：多尺度检测
秘籍四：数据增强
秘籍五：解决样本不均衡问题
秘籍六：Anchor-Free
视觉注意力机制系列
Non-local模块与Self-attention之间的关系与区别？
视觉注意力机制用于分类网络：SENet、CBAM、SKNet
Non-local模块与SENet、CBAM的融合：GCNet、DANet
Non-local模块如何改进？来看CCNet、ANN
语义分割系列
一篇看完就懂的语义分割综述
最新实例分割综述：从Mask RCNN 到 BlendMask
超强视频语义分割算法！基于语义流快速而准确的场景解析
CVPR2020 | HANet:通过高度驱动的注意力网络改善城市场景语义分割
基础积累系列
卷积神经网络中的感受野怎么算？
图片中的绝对位置信息，CNN能搞定吗？
理解计算机视觉中的损失函数
深度学习相关的面试考点总结
自动驾驶学习笔记系列
Apollo Udacity自动驾驶课程笔记——高精度地图、厘米级定位
Apollo Udacity自动驾驶课程笔记——感知、预测
Apollo Udacity自动驾驶课程笔记——规划、控制
自动驾驶系统中Lidar和Camera怎么融合？
竞赛与工程项目分享系列
如何让笨重的深度学习模型在移动设备上跑起来
基于Pytorch的YOLO目标检测项目工程大合集
目标检测应用竞赛：铝型材表面瑕疵检测
基于Mask R-CNN的道路物体检测与分割
SLAM系列
视觉SLAM前端：视觉里程计和回环检测
视觉SLAM后端：后端优化和建图模块
视觉SLAM中特征点法开源算法：PTAM、ORB-SLAM
视觉SLAM中直接法开源算法：LSD-SLAM、DSO
视觉SLAM中特征点法和直接法的结合：SVO
2020年最新的iPad Pro上的激光雷达是什么？来聊聊激光SLAM
