自动驾驶感知系统-摄像头

车载摄像头的工作原理，首先是采集图像，将图像转换为二维数据；然后，对采集的图像进行模式识别，通过图像匹配算法识别行驶过程中的车辆、行人、交通标识等；最后，依据目标物体的运动模式或使用双目定位技术，以估算目标物体与本车的相对距离和相对速度。
相比其他传感器，尽管无人车上配置的摄像头采集的数据量远大于LiDAR产生的数据量，但可以获得最接近人眼获取的周围环境信息。同时，现金摄像头技术比较成熟，在无人车上使用的成本很低。但是，摄像头做为感知工具同样存在缺点。首先，基于视觉的感知技术受光线、天气影响比较大，在恶劣天气和类似于隧道内的昏暗环境中其性能也难以得到保障；其次，物体识别基于机器学习资料库，需要的训练样本很大，训练周期长，也难以识别非标准障碍物；此外，由于广角摄像头的边缘畸变，得到的距离准确度较低。
单目摄像头一般安装在前挡风玻璃上方，用于探测车辆前方环境，识别道路、车辆、行人等。先通过图像匹配进行目标识别，再通过目标物体在图像中的大小估算目标距离。这要求目标物体进行准确识别，然后建立并不断维护一个庞大的样本特征数据库，保证这个数据包含待识别目标物体的全部特征数据（例如三维尺寸等）。如果缺乏待识别目标物体的特征数据，就无法估算目标物体的距离。因此，单目视觉方案的技术难点在于模型用到的机器学习算法的智能程度或者模式识别的精度。
目前，Mobileye公司在单目ADAS开发方面走在世界前列，其生产的芯片EyeQ系列能够根据摄像头采集到的数据，对车道线、路中的障碍物进行识别，第三代芯片EyeQ3已经可以达到L2自动驾驶水平。

单目摄像头采集的数据

摄像头在自动驾驶领域的应用
双目摄像头是通过对两幅图像视差的计算，直接对前方景物（图像所涉及的范围）进行距离测量，因此无须判断前方出现的物体是什么类型的障碍物，不用像单目摄像头那样建立并维护庞大的样本特征数据库。依靠两个平行布置的摄像头产生的视差，找到同一物体所有的点，依赖精确的三角测距，就能够算出摄像头与前方障碍物的距离，实现更高的识别精度和更远的探测范围。使用这种方案，需要两个摄像头有较高的同步率和采样率，因此技术难点在于双目标定以及双目定位。相比单目，双目的解决方案没有识别率的限制，无须先识别再测量；直接利用视差计算距离精度跟高；无须维护样本数据库。双目摄像头的测距精度依赖两个摄像头的安装距离，对安装精度和设备刚性也有较高的要求。在实际的使用过程中，在大部分常见障碍物测距上没有明显的优势。优势在于测距算法不依赖检测算法，对障碍物类型不依赖。缺点在于处理规则物体时容易出现错误。因为检测原理上的差异，双目视觉方案在距离测试上相比单目以及其他感知技术对硬件及计算量的要求都上了一个新台阶。

车载双目摄像头

环视摄像头一般至少包含4个摄像头，分别安装在汽车的前后左右侧，实现360度环境感知，难点在于畸变还原与图像之间的对接。

根据不同自动驾驶功能的需要，摄像头的安装位置也有所不同，主要分前视、环视、后视、侧视以及内置。实现全部自动驾驶功能至少应安装6个以上的摄像头。前视摄像头一般采取55度左右的镜头得到较远的有效距离，有单目和双目两种解决方案。双目摄像头需要安装在两个位置，成本比单目贵一倍左右。环视使用的广角摄像头，通常在车辆四周装备4个摄像头进行图像拼接形成全景视图，通过辅助算法实现道路感知。后视采用广角或者鱼眼摄像头，主要为倒车后视使用。侧视一般使用两个广角摄像头，完成盲点检测等工作，也可以代替后视镜，侧视功能在某些自动驾驶方案中也可由超声波雷达代替。内置摄像头也使用广角摄像头，安装在汽车内后视镜处，实现驾驶过程中对驾驶员进行监控，即使对驾驶员状况发出提醒。前视摄像头可以实现车道线偏离预警、车辆识别、行人识别、交通标志识别等自动驾驶方案中主动安全的核心功能，未来将成为AEB,ACC等主动控制功能的信号入口。

车载摄像头需要具备的首要特性是高速采集图像，特别是高速行驶场合，自动驾驶系统必须能够记录关键驾驶状况，评估这种状况并实时启动相应的措施。在140km/h的车速下，汽车每秒要移动40m的距离，为避免两次图像信息获取间隔期间自动驾驶汽车驶过的距离过长，要求车载摄像头具有不低于30f/s的帧率。在汽车制造商规格中，甚至提出了60f/s乃至120f/s的指标要求。在功能上，车载摄像头需要在复杂的运动路况环境下保证采集到稳定的数据。要求如下：

• 高动态范围：在较暗环境以及明暗差异较大时仍能实现识别，要求摄像头具有高动态的特性。
• 中低像素：为了降低对图像处理器的性能要求，摄像头的像素并不需要特别高。目前30万~120万的像素就可以满足要求。
• 角度要求：对于环视和后视，一般采用135度的广角镜头，前置摄像头对视距要求更大，一般采用55度范围。
  同时，相比工业级与消费机摄像头，车载类型在安全界别上要求更高，尤其时对前置摄像头的安全等级要求更高。
  主要体现如下：
  1.温度要求：车载摄像头要求能在-40~80度的环境下工作。
  2.防磁抗震：汽车启动时会产生极高的电磁脉冲，车载摄像头必须具备极高的防磁抗震性能。
  3.较长的使用寿命：车载摄像头的寿命要求至少满足8~10年的稳定工作。