在自动驾驶技术中，感知是最基础的部分，没有对车辆周围三维环境的定量感知，就犹如人没有了眼睛，无人驾驶的决策系统就无法正常工作。
与其他应用场景相比，自动驾驶的应用场景相对复杂，尤其面对复杂多变的路况环境，感知技术的突破需要依赖相应的数据采集标注项目的支持。
一.项目背景
车辆前置道路信息采集主要解决两个个关键需求：
- 障碍物的距离信息;2. 相对速度向量。
通过对障碍物的连续追踪，根据距离的变化和时间间隔得到相对速度信息，以满足自动驾驶相关业务的需求。
多城市多道路，会带来不同的路况，信号灯种类，人流和车流情况变化，多天气数据会影响图像识别精度。
二.项目方案
☆激光雷达+毫米波雷达+单目摄像头。
通过激光雷达采集点云数据，生成点云连续帧数据。在点云中标注每个障碍物的位置、标签、ID。激光数据可以精确测量障碍物距离本身的距离信息，同时通过前后帧的同ID车辆位置变化，计算出障碍物相对速度向量信息。
通过毫米波雷达，同样可以获得周围环境的点云数据，然后通过对连续帧的标注取得距离和相对速度信息。
三.采集方案
☆采集数据+既有数据收集。
对于激光、毫米雷达波和单目摄像头数据，需要采集新数据。
现有的行车记录仪数据收集，可以收集多城市，多道路，多天气下的数据，按照需求的比例分布。然后根据单目测距的方式进行标注和结果导出。行车记录仪收集的数据可以作为单目摄像头的算法验证。
四.标注规范
☆标注顺序：
从正前方开始找物体——在3D上标注并调框(脑补大小和方向)——在出现的其他方位里标注对应物——选择类型、状态、可见度——顺时针回到正前方。
☆标注对象：车、人、物
-乘用车(设计用来载人的车辆)
-卡车(设计用来拉货的车辆，包括小型皮卡车)
-卡车头
-拖斗(无论有没有被拖车连接都要标注，如：油罐，集装箱)
-巴士(10人以上载客巴士)
-摩托车(有人)
-摩托车(无人)
-自行车(有人)
-自行车(无人)
-自行车架
-集装箱
-其他交通工具(除以上类型车辆、车上有车的情况)
-成年人
-未成年人
-婴儿车
-轮椅
-动物
-交通锥桶
-临时路障
-临时交通标志/路标
-可推拉物体
-杂物和垃圾
-带物体的行人
☆属性：
-3D可见度
0%-25%
26%-50%
51%-75%
76%-100%
☆车辆状态：
1)停放(长时间停放，没有即将运动的趋势)。
2)停止(如等红灯，随时有可能移动的车辆)。
3)运动(正在移动的车辆)。
☆特殊规则：
框体和脑补：
1)紧致贴合扫描完整的边缘，不完整的边缘需要脑补。
2)如果原始点云只扫描到物体的一部分，需要脑补出合理的尺寸。
3)当点阵不完整，框体应贴合离采集车最近的一侧。
4)框体不允许悬空，或是陷入地面。
5)框体不包括车的后视镜、天线。
3D标注范围：
1)可行驶区域 120米(采集车可以开到的区域，人行道)。
2)不可行驶区域 90米(被墙体隔离的停车场等)。
标注原则：
1)任何可能危及采集车行驶安全的物体都要标注。
最小3D点阵：
1)大于等于5个点，并且只要可以确定该物体是我们需要标注的对象。
最小2D框体：
1)20x20 pixels(由于过远导致的，如果脑补超过20x20仍需要标注)。
2)截断(out of image)超过50%仍要标注(只要2D中出现一点点就要标注)。
五.标注对象类型详解
需要标注的对象有21种：
乘用小型车、卡车、卡车头、拖斗、巴士、摩托车、自行车、自行车架、集装箱、其他交通工具、成人行人、未成年行人、婴儿车、轮椅、动物、带物体的行人、杂物或垃圾、交通锥或交通杆、临时路障、临时交通标志/路标、可推拉的物体。
以下选取部分内容简单介绍：
1.乘用小型车
主要给个人使用的机动车。例如：轿车、两厢车、小货车、厢式货车、mini货车、SUV以及吉普车。
1)10座以上叫公交。
2)被设计主要用来拉货物的叫卡车。
2.卡车
主要设计用来拉货的大型机动车。
包括：皮卡、半挂车、卡车、牵引车。在牵引车后的拖斗需要被独立标为“拖斗”。
3.成人行人
注意：框需要包含行人的四肢、动作。例如坐着或站着的成人或小孩。
4.未成年行人
5.交通锥或交通杆
1)所有类型的交通锥标和交通杆。
2)方向朝着采集车，不用太精准。
6.可推拉的物体
物体被设计来让行人推或拉的。例如手推车、手推车、可推式垃圾箱或购物车。通常这些车不是被设计成载人的。
六.硬件平台
☆设备清单：
☆设备配置方案：
☆传感器参数：
七.软件平台
☆软件开发：
☆软件功能：
本系统由4个激光雷达、ECU融合器、同步时钟等设备组成。每个雷达对点云数据进行预处理、分割、特征提取处理后，将信号送入ECU融合器内进行数据融合、目标跟踪、分类等，最终输出目标序列。