自动驾驶综述、定位、感知、规划、视觉、感知、算法（自动驾驶需要哪些知识？）关于我自学基于深度强化学习后课评

随着科技的发展和社会的进步，这个世界变得越来越神奇，我们大家看到了围棋高手和“阿尔法围棋”的人机大战，我们也见识到了人工智能、无人驾驶、语音识别、移动支付等等各种各样最新的技术和概念，这一切都是创造精神带给我们的，也让我们对未来充满了更多的`期待

欢迎大家和我一起探讨自动驾驶相关技术，没学习之前我也很好奇这种无人驾驶是怎样实现的？

我目前也发过上百个无人驾驶相关数据，大家有需要可以下载来看，下载都是免费的，不用任何会员。

这是我分享的一些自动驾驶相关的电子书 

以下是我干java全栈开发攒了2个月工资去报的班自学大纲，大家也可以按照这个规划一步一步去学习，后面入职由于有过编程开发经验工资大概2w左右，1年后我换了一份工作，目前工资在3.5w左右，所以自动驾驶行业还是很吃香的，目前不倦，岗位特别多，我为什么选择去学习这个课，因为当时做java的时候遇到了工资的瓶颈，怎么涨都很难涨上去，相当于天花板到头了，所以选择其他赛道碰一碰

自动驾驶简介

自动驾驶是当前人工智能领域最受关注的热点行业，让众多名技术工作者梦想加入这个充满想象力的赛道，然而，自动驾驶是一门复杂的交叉学科，涉及领域种类众多且技术栈跨度大，对于初学者而言如果没有行业导师指导，学起来会很吃力。本人报名学习的一门课程从浅入深讲解技术与算法，学后观感：学习了这门课使我学到了很多的技术，对我的后续工作帮助很大，带我系统入门自动驾驶四大模块，定位、感知、规划和控制。

自动驾驶亮点

结合工程实际案例，形成自动驾驶的全方位认知
搭建完整的自动驾驶知识脉络
深入了解技术现状与发展前景
涵盖环境感知、同时定位与地图创建、路径规划、决策控制
融合环境感知和规划控制的算法原理与项目实战

本人在在学习该课程之前是做全栈开发的，java用得比较多，也算是转了个行业吧，具有中级 Python 、C++、Matlab编程能力，理解深度学习与计算机视觉，并掌握基础线性代数微积分、统计学及物理知识，建议大家学习以下预修课程:
《人工智能数学基础》
《Python从入门到进阶》
《人工智能基础能力提升》
《人工智能核心知识强化》

在常用车，物流车相关的部门工作过，日常工作中的调试

 日常外出工作

1.自动驾驶汽车概论

无人驾驶汽车也称智能车或轮式移动机器人，是结合了汽车技术和机器人技术的产物，是室外移动机器人在交通领域的'重要应用。

1.1 为什么要研发自动驾驶汽车
1.2自动驾驶分级简述
1.3自动驾驶国内外发展历程
1.4自动驾驶汽车架构
1.5自动驾驶政策解读与大厂发展动态
1.6 课程安排与项目介绍

2.自动驾驶技术之环境感知传感器

无人驾驶汽车要能协调运行所有的系统，任何一个系统也不能出错，一次也不行！因为哪怕是一次错误都可能酿成交通惨剧。因此，无人驾驶汽车绝对是一个集成了众多尖端技术的综合性系统工程。

2.1激光雷达
        2.1.1 激光雷达原理与类型
        2.1.2点云处理技术以及基于PCL的算法仿真
2.2毫米波雷达 原理与类型
2.3车载视觉传感器
2.4 传感器标定
        2.4.1各传感器时空同步技术
        242多传感空间统一技术
        · 传感器标定之辅助工具传感
        · 器标定之无辅助工具
        · 基于深度学习的传感器标定方法
2.4.3传感器时间同步技术

KITTI数据集传感器示意图

 3.基于视觉的自动驾驶汽车环境感知

要有足够的图像分析能力，比如要能看得懂红绿灯和各种交通标志。当然，它还必须知道自己现在在什么地方，要去什么地方，所以卫星定位技术和导航技术也是必不可少的。

3.1 道路检测
        3.1.1 车道线拟合
        3.1.2 语义分割
3.2驾驶环境中目标检测
        3.21实例演示:基于图像的目标检测以及YOLO V5
3.3交通信号灯和交通标志检测

4.基于点云的自动驾驶汽车环境感知

要想造出这样一台车可不容易。首先，无人驾驶汽车要能探测到行人、车辆和各种路况，所以它必须要安装摄像头和雷达等感知设备。

4.1基于传统方法的点云自动驾驶感知算法
        4.1.1 点云障碍物检测
4.2 基于深度学习的点云自动驾驶感知算法
        4.2.1实例演示:基于点云的目标检测以及PointPillar
        4.2.2 实例演示:基于点云的语义分割以及RangNet++

KITTI数据集传感器示意图

5. 自动驾驶技术之多传感器融合

无人驾驶汽车还要具备一定的“智力”，能够选出到达目的地的最优路径，还要对路上的各种情况进行判断和分析，作出避让、超车和刹车等相应反应，也就是说，它要有足够的“决策能力”。

5.1多传感器融合技术概述
        · 传感器融合方式，分类
        · 现传感器融合方法综述
5.2融合方法
        5.2.1 基于传统方法的多传感器融合
        · 传统方法的多传感器融合概述
        · 基于D-S证据的多传感器融合方法应用实例
5.2.2基于深度学习的视觉和LIDAR数据的前融合方法
        · 前融合的网络模型
        · 实例演示
5.2.3 基于深度学习的视觉和Lidar的目标级融合
        · 目标级融合的网络模型
        · 实例演示

6.自动驾驶技术之多目标跟踪

与雷达多目标跟踪相似的应用还有基于Lidar或者声呐的多目标跟踪，这类传感器提供的目标信息较少，因此提高数据关联

6.1 多目标跟踪基本概念与通用流程
6.2 常用工业框架模式SORT和deepSORT
6.3 实例讲解
        · JDE (Real-Time Multi-object tracking)框架思路
        · 实例演示

目标检测与跟踪

7. 自动驾驶技术之定位方案

自动驾驶定位技术就是解决“我在哪儿”的问题，并且对可靠性和安全性提出了非常高的要求。除了GPS与惯性传感器外，我们通常还会使用LiDAR点云与高精地图匹配，以及视觉里程计算法等定位方法，让各种定位法互相纠正以达到更精准的效果。随着自动驾驶的发展，定位技术也一定会不断优化。

7.1 常用传感器
        磁罗盘
        里程计
        IMU
        里程计与IMU的融合
        · GPS
        · GPS与IMU的融合
        · GPS、里程计与IMU三个传感器的融合
        3D激光雷达
7.2 定位方案总结

8.SLAM之理论基础知识

SLAM为即时定位与构图的缩写，其涉及到了定位与构图问题,这里分开阐述定位与构图的相关知识，包括形式和实现方法，然后对构图与定位的相互关系进行了说明

8.1 射影几何
8.2三维空间的刚体运动
8.3 李群与李代数
8.4简单实践项目

9.SLAM之优化方法

优化为例:  首先位姿图优化发生在回环的时候，这个时候，受到回环影响的关键帧就两个位姿:  一个是回环前带有漂移的位姿，一个是回环后将这个漂移消去的位姿

9.1 滤波优化
        9.1.1 卡尔曼滤波KF
        · KF算法思想
        · KF算法滤波及基于MATLAB代码仿真
        · 基于KF的多传感器融合及基于MATLAB的仿真
        · KF算法应用实例及代码
9.1.2扩展卡尔曼滤波EKF
        · EKF算法思想
        · EKF实例及基于MATLAB的算法仿真
9.1.3 无迹卡尔曼滤波UKF
        · UKF算法思想
        · UT变换原理
        · UKF算法详解
9.2图优化
        9.2.1牛顿法
        9.2.2LM

10.同时定位与地图创建

同步定位与地图构建 (SLAM) 是自动驾驶汽车所用的一种技术，您不仅可以用它构建地图，还可同时在该地图上定位您的车辆，SLAM 算法让汽车能够构建未知环境的地图。

10.1 SLAM理论发展与关键技术
10.2 V-SLAM (视觉)、LIO-SLAM (激光)
10.3 SLAM应用之自动驾驶定位应用
10.4 实战项目: SLAM

11.自动驾驶技术之路径规划 

首先是环境感知，主要是依托高精地图(HD Map)等确立相应的起始点和出发点，进行全局路径规划，之后再依据Lidar、Radar等感知硬件，进行局部路径规划

11.1 路径规划简述
11.2 常用路径规划算法
        11.2.1 Djikstra 11.2.2 D*
        11.2.3 A*
        11.2.4 Reed-shepps曲线
        11.2.5 混合A*简介
11.3 路径规划总结

12.自动驾驶技术之横向与纵向控制

纵向控制中最常用的控制应用就是巡航控制，通常巡航控制系统主要功能就是:通过节气门或制动命令维持车辆速度， 通常控制器可以分为两个级别，高级控制器和低级控制器。

12.1 阿克曼转向车辆运动学介绍
12.2 横向控制-Pure Pursuit算法
12.3 横向控制-stanley算法
12.4 纵向控制-PID控制器
12.5 基于最优化思想的控制技术之LQR
12.6 基于最优化思想的控制技术之MPC

13.自动驾驶系统集成

13.1 各模块间的关系:无人驾驶系统
13.2 研发流程:各模块功能集成
13.3 自动驾驶行业漫谈
13.4 自动驾驶岗的能力需求

以上是我分享学习过的知识点，梦想如果没有努力、没有拼搏、没有奋斗、没有一次一次面对失败和挫折的挑战，最终你是不可能站在梦想成真的巅峰上。

青少年要敢于有梦，梦想是走向未来的动力，是追逐梦想的灯塔，只要每个人为自己的小梦想努力，我们的大梦想就一定实现！