2019.05.05_自动驾驶中的相机介绍
--------------------------------------------------------------------------------------------------------------------
广泛应用的相机
车外相机：车载VDR、前视相机、侧向相机、环视相机、后视相机；
车载VDR：单目RGB；（记录车辆前方行驶状态）
前视相机：单目RGB、双目RGB、三目RGB；（目标障碍物识别、测距、跟踪相关功能）
侧向相机：单目RGB；（目标障碍物识别、测距、跟踪相关功能）
环视相机：单目RGB（鱼眼）；（360度环视成像，驾驶辅助）
后视相机：单目RGB；（倒车预警、后车防碰撞）
车内相机：监控相机；
监控相机：单目RGB、单目红外；双目RGB、双目红外；（DMS、虚拟交互）
三目RGB相机：三个摄像头，视角、感知距离、感知范围、感知任务各不相同；
优点：三个感知范围、感知任务；
应用车型：tesls Autopilot2.0系列车型、蔚来ES6、ES8系列车型；
目前瓶颈：计算量大、算法数据融合、相机精度；
-----------------------------------------------------------------------------------------------------------------
Tesla Autopiot2.0传感器方案
三目相机：3个；
侧向相机：2个；
后视相机：1个；
环视相机：4个；
----------------------------------------------------------------------------------------------------------------
相机将来的趋势
相机类型：图像雷达、放生相机、夜视相机、红外相机、深度相机、TOF相机等；
图像雷达：该方案已经应用于Waymo自顶驾驶车辆，相关介绍可查看Waymo博客及论文，已发表不少论文、博客；
现在的趋势，可能是是比较好的数据、传感器融合方案，也是目前学术研究、产业应用的热点方向；
目前好像只有Waymo量产使用了该方案，乘用车目前无法承受其量产价格；
仿生相机：自动驾驶逐渐向L3、L4发展，ODD逐渐扩大，安全性要求也在提高，传统相机存在使用场景、性能的局限性；
放生相机比如可自动变焦双目相机等等，可能可以给出量产级别的解决方案，目前还不一定；
方向是基于除人类视觉外的其他动物视觉进行县级开发，主要是基础研究，还不是一个大热点；
集中于传感器设计、开发、集成领域，与神经系统、脑智能融合开发的智能相机，也是一个前沿方向；
车规级、量产的传感器开发需要不少的路要走，能不能量产应用，需要时间；
中国科学院上海研究所仿生视觉实验室为国内最前沿的研究机构，多年前已开发出一些成熟仿生相机的Demo；
夜视相机：主要解决晚上、傍晚、地下停车场、隧道等使用场景下光照条件较差的问题；
车辆前向车灯、城市道路照明系统的主要功能还是驾驶员辅助照明，与前向相机的融合开发也在进行了；
相向行驶车辆的后向灯、道路照明迎光、相对行驶辆的前向灯，辅助照明也可能会产生不小的干扰；
夜视相机最初应用于军工领域，硬件技术已较为成熟，但是视觉的算法、数据开发还需要很长的路要走；
上述的ODD光照条件较差，算法及安全性要求极高，另外还需数据、bad case、corner case的积累；
乘用车，家庭私家车，视觉主导的自动驾驶传感器、功能在日落后至日初阶段基本不能使用；
商用车，物流运输车，相当一部分需要晚上出发早上到，使用场景是在晚上、高速道路；
夜视相机不是晚上等光线条件较差使用场景的唯一解决方案，也可能一直不会被采用；
红外相机：主要应用DMS（驾驶员监控系统），比如：疲劳监测、实时脉搏显示等；
除了RGB相机，基于红外相机进行疲劳检测也是一种方案，两者融合也有供应商在做了；
基于红外相机做驾驶员实时脉搏显示等于人类健康相关的检测，已是一个热点；
在穿戴设备、医学上已初步成熟，也有上市产品，但是还没有一款车规级的产品上市；
车辆驾驶室环境（运动、噪声等）比穿戴设备、医学的英语环境更加恶略，主要难度在算法开发；
驾驶员、乘客等健康检测也是一个还未出现、即将出现的智能车辆功能；
深度相机：可输出图像深度信息，前向相机，主要在目标检测、测距、跟踪；
学术研究领域已产出相当量级的算法、模型，几乎每周、每天都有更新；
计算量、相机成本、相机精度夜视制约应用的因素，可应用于量产车型的传感器非常少；
希望，深度相机在近几年的大规模应用于自动驾驶车辆；
TOF相机：深度相机的一种，可输出图像深度信息，也可进行三维重建；
基于驾驶员手势识别的虚拟车内非车辆驾驶控制已经出现量产产品，主要是驾驶员不需要控制实体按键和旋钮；
上海车展期间，facecar已展示、发布其车载虚拟控制解决方案；
基于TOF相机进行3D人脸识别、情感分析、驾驶员脱手检测也是一个应用方向；
三菱电机的DMS系统，目前已相当成熟，目前采用RGB相机、红外相机，2020年后期会逐渐采用TOF相机；
车规级的传感器开发需要时间；
----------------------------------------------------------------------------------------------------------------
相机标准：相机性能测试评估标准、相机性能差测试评估流程需要国标化、体系化；
现状：无论是ISO、GB、ECC、CNAS等标准体系流程都需要进行相关标准、体系的更进；
相关标准：；
测试方法：；
机构：CNAS中国、上海光学研究所；
没有标注限制的传感器无疑都是在裸奔，企业开发高歌猛进、学术研究如火如荼，但是目前最急需的应该是标准的跟进；
----------------------------------------------------------------------------------------------------------------