Apollo进阶课程⑯丨Apollo感知之旅——感知概貌

原创： 阿波君 Apollo开发者社区 1周前

上周阿波君为大家详细介绍了「进阶课程⑮| Apollo无人车自定位技术入门」。

我们人类天生就配备多种传感器，眼睛可以看到周围的环境，耳朵可以用来听，鼻子可以用来嗅，也有触觉传感器，甚至还有内部传感器，可以测量肌肉的偏转。通过这些传感器，我们可以感知到我们周围的环境。我们的大脑每分每秒都在进行数据处理，大脑的绝大部分都是用于感知。

现在，无人驾驶车辆也在做这些事情，只不过他们用的不是眼睛而是摄像头。但是他们也有雷达和激光雷达，它们可以帮忙测量原始距离，可以得到与周围环境物体的距离。对于每个无人驾驶汽车，它的核心竞争力之一就是利用海量的传感器数据，来模仿人脑理解这个世界。谈论传感器时也会涉及到神经网络、深度学习、人工智能。

本周阿波君将与大家分享Apollo感知之旅——感知概貌。下面，我们一起进入进阶课程第16期。

---

---

感知是机器人学科的问题，机器人要做的即是像人类学习，但不是完全模仿，应做到扬长避短。例如飞机的飞行不需要和鸟的飞行一样，而是要根据自己的特性进行针对性设计和优化，发挥出飞机本身的特性。感知的目的是寻找机器的特长并发挥出来，向人类学习并做得比人类更好。

1.人类开车与机器开车在感知上的区别

人类驾驶员开车主要借助眼睛、耳朵，辅助以倒车影像和雷达来获取驾驶环境的信息。机器感知系统则根据各种各样的传感器来获取汽车周围的驾驶环境，包括Lidar，Camera，Radar，超声波雷达以及拾音器等。相对人类而言，机器感知是全覆盖，并且感知精度更高，能够达到厘米级别，但是机器感知在语义感知方面相差太大。

                                                     感知样貌探究的问题范围

在地图定位方面，人类驾驶员主要依靠导航地图，或者依据交通指示牌进行路径规划和导航。机器感知系统则依赖高精地图。高精地图和导航地图的最大差别是有参考线，汽车需要根据参考线进行行驶，而人很大程度上是根据经验驾驶。例如在十字路口，人类通常是根据经验以及前车经过十字路口或者转弯变道，而无人车是根据高精地图的参考线行驶。

输出信息的比较，人类驾驶员的感知信息输出主要是大脑输出，一是道路信息，包括车道线位置，是左转还是右转车道，是否限速，实线还是虚线等。第二是动态障碍物信息，主要包括障碍物位置、类别、形状大小、相对速度、行为意图等。除此之外，人还需要通过眼睛感知交通信号灯的状态。无人车感知的信息输出主要是各个传感器的数据，固定目标更多的是依赖高精地图，减少在线识别。

道路信息通常以高精地图作为参考。障碍物信息通常使用障碍物检测技术获取，包括检测障碍物的位置（3D位置）、类别、形状以及障碍物跟踪。此外还需要根据不同的传感器数据进行传感器融合获得更精确的感知，保证安全驾驶。

当前无人车感知主要通过摄像头来获取交通信号灯的颜色，灯的语义信息可以由地图提前标注好，长远的目标是通过V2X实现交通信号灯的感知。

相对人类驾驶而言，无人车系统为机器做了很多的工作，把固定信息都嵌入到地图里面，在线识别只针对最小集进行处理，以保证系统的高效和鲁棒性。无人车感知的缺点是强烈依赖高精地图。

---

2.多维度剖析感知模块

感知模块可以从小感知和大感知两个维度进行划分。小感知主要是完成感知任务需要具备的功能模块，包括检测、分割、识别、跟踪、融合等技术。大感知是指感知要真正的为无人车系统服务，需要考虑上下游，例如标定，定位，障碍物行为预测等，也是当前的一种研发趋势。

感知模块的维度可以根据划分目标而不同，这里给出一种感知模块的维度划分案例，包括以下6个维度：

第一是传感器维度，也称之为输入。主要有Lidar，Camera，Radar，Ultrasonic高精地图等。

第二个维度是输出。主要包括障碍物，车道线和道路边界，红绿灯等。

第三个是问题空间维度。例如感知模块中涉及的一些算法或者要处理的问题，包括2D算法，3D算法（高度、距离、朝向角）。按照时间可以分为静态帧检测和时序处理等。

第四个维度是机器视觉维度，分为高语义和低语义问题，例如模型计算和几何计算。

第五个维度是机器学习维度，分为深度学习驱动的感知和通过先验知识进行启发式设计的方法，称之为后处理。

最后一个维度是系统维度，包括硬件和软件，以及软硬件一体化。在无人车系统里，感知的硬件显得更为重要，软件需要同步于硬件。

                                                                   多维度看感知问题

---

阿波君说：

在学习过程中，开发者不仅可以在Apollo开发者社区小程序上对课程内容进行提问，还可以在开发者微信群中交流学习心得，共同学习自动驾驶技术。

开发者社区还将在公众号上定期推送课程相关的技术干货，全程陪伴大家共同进步。祝Apollo开发者们顺利完成《Apollo自动驾驶进阶课程》的学习，在自动驾驶道路上越走越远！

阿波君还欢迎大家在小程序内晒出学习笔记，也可以加入开发者交流社群与大家交流互动，有好礼相送！

观看/阅读完该节课程后在开发者社群及小程序「社区问答」版块内上传你的课程笔记截图；手写笔记/电脑文档均可即可联社区小助手获取百度周边纪念品1份。赶快来撩吧~比心~