Apollo-感知介绍2*

课程习题：简单总结一下两个检测算法：启发式的Ncut和深度学习算法CNNSeg

感知算法

启发到头，就需要数据驱动（机器学习）——CNNseg

确定一个方向，收集大量的数据，将市面上主流的方法进行组合，做一个精密的实验，最后得到一些结果。

ADAS：高级驾驶辅助系统（是辅助驾驶，而非自动驾驶）

• 辅助驾驶：核心是环境感知
• 自动驾驶：核心是人工智能

环视：比如变道需要知道后方以及两边的情况

检测（detection）

无人驾驶（AD）里的检测和计算机视觉（CV）里的检测是不同的

1. 环境不一样。无人驾驶的相机是固定在车上的，所拍摄的环境是有一定规律性的；而CV中的相片（比如手机拍摄）可以很近也可以很远，也可以是在各种各样的环境
2. 任务不一样。AD中的检测模块承担更多角色，不仅仅是画个2D框标注个类别就完了，还需要输出一些3D信息，比如障碍物尺寸（因为障碍物并非不可穷举，并且它有着内在规律）、朝向，并且AD上的图像是连续的，框不能抖动太大，需要连贯，因此当前帧的检测还需要历史帧的信息，并加入一些持续性、稳定性的特征进行学习。【具体如下图】

检测得到2D结果，转化为3D信息，并且进行时许跟踪

局部end-to-end，相对于全局end-to-end（输入是传感器的数据，输出是对油门刹车方向盘的控制），会更方便debug（将一个东西模块化，出现问题方便debug）

挑战：一个视野只能用一个model来做（这个model包含了对视野中各种物体的检测），但各种物体的数据可能会很不均匀，而且并不是所有有标注的图片里，都有对所有物体的标注，如何进行训练是一个问题。可能一个model team里有很多人，每个人做不同feature的训练，最终如何融合也是一个问题。

属性识别

分割

检测和分割

分割和检测是对问题不同力度的需要。

比如规则的物体，我们可以用bouding box框住，但如果是一些不规则的物体（比如柳条或者弯曲的大树枝）用bouding box可能就会框住大量的背景信息，从而我们需要用分割的方法来刻画出这些不规则物体的边缘。

两者算是detection（检测是bouding box的detection，而分割是点的detection）

“3D往2D里投”
3D：点云信息知道距离，但不知道是啥
2D：知道都有啥但不知道具体多远
前者往后者 投影，两相结合

场景分割

可行驶区域

障碍物的互补问题
非结构化道路和结构化道路

车道线

基于检测：
检测出车道线的点，把点连成线，车道线被遮挡让机器学会“脑补”

后处理

2D - TO - 3D的几何计算
车辆在行驶过程中，相机的角度是会不断变化的，我们需要实时估计

接地点：

假如地面水平，相机水平，可以用上面的相似三角形计算前方距离

2D框、绝对尺寸（一般高度不会有遮挡）

稳定性：误差变化不能太大

帧率不能太低

跟踪：必须轻量化，延时不能高

感知算法2

红绿灯

红绿灯的制式千奇百怪

影响因素：标定、地图（有时候地图会标错）等

Radar

感知中的机器学习

1. 延迟不能高

2. corner case：极端情况
   如何避免？
   比如一辆车在校园里开，采集很多年的数据，那么也有信心让他在校园里自由地开。
   （在一个有限的环境里开，基于大量这个环境的数据）

3. 可解释性：“不能说出了问题但不知道问题出在哪” “可解释性让用户心里也有个底，让用户能够信任”

4. 启发式与模型相结合、有些东西不需要用模型来学，也学不好；

5. “目前的系统只是在做预测，而人不仅在做预测，同时也在学习”，希望以后的人工智能可以同时在做学习和推理

感知的未来

1. sensor迭代很快（量产会使成本降低）
2. 硬件的进步，比如现在CNN很耗时，以后可能将不是问题；“仿真世界和真实世界建立联系”
3. “将sensor布置在道路上，将感知结果传给车辆，如果车辆的感知fail，路上的可以帮忙；同时路上的sensor可以有更远的感知距离、范围”
4. 希望机器学习在模式上能够像人一样同时进行学习和推理