行为检测_知荐 | ADAS系统中驾驶员行为与状态检测（一）
知圈 | 进“ISO26262社群”，请加微13636581676，备注ISO
驾驶员行为 与状态监测系统作为一种监测预警技术，在先进的驾驶辅助系统发展过程中起着举足轻重的作用，比如对于要求在自动驾驶辅助过程的特定运行区域中可以实现长时间脱手、脱眼，则需要通过驾驶员监控系统实时采集驾驶员头部及脸部状态信息，以便分析驾驶当前的接管能力。
目前关于驾驶员行为与疲劳状态监测预警技术可以分为如下三类：
1) 从驾驶员自身特征触发，通过某种设备获取驾驶人的生理信号特征或者利用驾驶员正常状态和疲劳状态下的特征模式的不同，通过视觉传感器采集驾驶员面部各种器官特征，利用相应的模式识别技术分类进行判别驾驶员是否处于疲劳状态。 2) 根据车辆的状态参数间接判断驾驶员是否处于疲劳状态，这类方法从驾驶员对车辆的操控情况以及采集到的车辆运行状态参数来判断是否疲劳或注意力分散。 比如车辆是否超过道路标识线，转向是否连贯，是否处于超速行驶，车辆之间的距离是否太近等。 3) 采用信息融合的方法，结合驾驶员生理特征参数检测结果、车辆状态参数或驾驶员行为信号，从而判断驾驶员精神集中状态。 ◆◆ 基于驾驶员生理信号的方法◆◆研究表明，驾驶员在疲劳状态下其生理指标与正常值相比会发生变化。基于驾驶员生理检测的方法可以通过专业设备检测驾驶员相关生理信号如脑电图(EEG)、心电图(ECG)、肌电图(EMG)、眼电图(ECG)，根据参数变化情况来判断驾驶员是否疲劳。
1、脑电图 通过对脑电信号(脑电节律、事件相关电位)的分析，反应人体疲劳程度，研究发现，人在瞌睡的时候θ波(频率为3-7Hz)有比较明显的增加，而在清醒的是否β波(频率大于13Hz)比较多。但是在脑电图人的头部转动、喝水等动作出现时其值变化会比较剧烈。故在使用脑电图检测疲劳是，可以通过区分波段反应疲劳情况。而泼谱的提取及分类情况对于识别效果会有很大的影响，目前的研究均集中在对于波段数据的特征提取及分类上。而其中使用小波分析提取脑电波数据特征，利用支持向量机对脑电波进行分类，或者使用小波分析与该学习方法进行疲劳的自动识别，或者利用驾驶疲劳是脑电图谱分量的可再现性及重复性来检测疲劳。
基于驾驶员生理反应特征的检测方法跟踪和分析眼睑状态和眼睛的注视位置，在疲劳状态的识别精度和实用性上都较好。
基于驾驶员生理反应特征的检测方法一般采用非接触式检测途径，利用实时图像处理技术，通过分析驾驶员的眨眼信息、眼球运动和头部运动特性等推断驾驶员的疲劳状态，其中眨眼幅度、眨眼频率和平均闭合时间都可以直接用于检测疲劳状态。
目前基于驾驶员生理反应的驾驶疲劳检测算法有很多种，利用面部识别技术定位眼睛和嘴部位置，将眼睛和嘴部位置结合起来，再根据驾驶员视线跟踪可以获得驾驶员注意力方向，并判断驾驶员的注意力是否分散。
1、PERCLOS检测
关于疲劳状态检测广泛采用的算法包括了PERCLOS，即将眼睛闭合时间占据一段时间的百分比作为判断疲劳的指标。卡内基梅隆研究所通过反复试验和论证，指出PERClOS的P80(单位时间内眼睛闭合程度超过80%时间占总时间的百分比以上的)与驾驶疲劳程度相关性最好。先进一点的方法是利用人的视网膜对不同波长红外光反射量的不同生理特点，在相同照度的情况下，利用两个摄像头同时采集人脸图像，分析差分后瞳孔图像的大小和位置，来计算PERCLOS，可实现对驾驶员疲劳状况的全天候监测。另外，采用红外光源和DSP嵌入式系统采集驾驶员人脸图像，利用模板匹配算法对睁眼和闭眼状态进行识别，可将如上改进后的PERCLOS算法作为判断驾驶员是否疲劳的标准。
德尔福公司开发了基于视觉实时驾驶状态评分系统DSM(Driver State Monitor)，他在仪表上安装了正对驾驶员的单目摄像机和两个红外光源，以实现对驾驶员眼睛闭合状态的检测和对头部姿态的估计。通过对1min内眼睛平均闭合时间的测量，该系统可以实现在多种光照条件下估计驾驶员姿态。
2、嘴部状态监测
驾驶员在正常驾驶、说话及打哈欠(瞌睡)等状态下嘴部张开程度有所不同，一种较好的驾驶员状态识别方法是利用机器视觉的方法提取嘴部形状的几何特征并将其作为你特征值，根据BP神经网络来识别驾驶员疲劳状态。此外，利用模板匹配算法检测人脸，通过灰度投影算法检测到嘴巴得左右角点，并用小波变换算法抽取嘴部角点纹理特征，最后利用线性判别识别驾驶员是否打哈欠，并将其作为驾驶员是否疲劳的判断依据。
当然，对于打哈欠这一种较为常见的驾驶员状态，我们需要规避一些误识别，比如识别到一定时间内哈欠的次数超过一定阈值才算做是真正的疲劳状态识别。且每一次哈欠所影响的疲劳探测的权重会随着该时间窗口中的哈欠次数而增加。
3、头部位置检测
头部位置探测是利用计算驾驶员头部位置传感器，设计安装在驾驶员驾驶人座位上的一个相邻的电容电极传感器阵列，每个传感器都能输出驾驶员头部距离传感器的位置，可以计算出头部在X，Y，Z三维空间中的位置。
假设以头部朝向近似为视线方向为前提来研究驾驶员头部朝向角度与注意力分散之间的关系，则头部朝向偏离路面的持续时间和时间比例两个注意力分散指标，建立了基于驾驶员面部特征点(如眼睛、鼻孔)的模型，该模型对头部朝向角度的估算和对注意力分散程度的判别。根据人脸形状和面部器官的分布，利用机器视觉检测技术和椭圆拟合方法获得驾驶员的面部三维朝向信息，由面部朝向可间接反映驾驶员的视线方向。
4、视线方向检测
通常驾驶员清醒，注意力集中时，其眼睛会注释前方，而当其视线出现一定程度的偏移时，则表现出一定的疲劳或注意力分散状态。故此，对于眼睛视线方向的检测显得尤为重要。
如下介绍一种视线检测方法。
1)利用“颜色分析法”在人脸图中首先确定嘴唇的位置；
2)根据“人脸肤色区域”进行边缘检测定位双眼；
3)根据“瞳孔图像比周围像素较暗”的事实确定瞳孔的位置；
4)根据瞳孔和眼角的相对位置关系确定视线方向，如果人眼视线偏离正前方，则认为驾驶员可能出现疲劳或注意力分散；
◆◆ 基于车辆运行状态的方法◆◆基于车辆运行状态的疲劳检测方法不是从驾驶员本人出发去研究自身状态，而是基于车辆操控情况去间接判断驾驶员状态。该方法依据的原理是用线路跟踪或结合驾驶车辆与前车的距离等车辆行为表现出的状态进行疲劳检测。当驾驶员疲劳时，其驾驶行为与正常状态通常存在较大差异，比如反应迟钝、动作迟缓、应急能力下降；失去方向感，驾车左右摇摆，行驶速率不稳定，亦或者车辆离开白线的时间和程度、驾驶时车辆航道保持、转向盘控制、制动踏板、车辆速度、驾车时的横向加速度、车辆侧向位移都可用于检测驾驶员是否处于疲劳或注意力分散状态，进而提出警告提醒或用于其他驾驶功能控制输入。
1、方向盘转动情况检测
研究发现，正常路况下，当驾驶员清醒时，转向盘的调整幅度一般较小，而车辆的行驶轨迹相对较平稳，反之，当驾驶员疲劳或注意力分散时，转向盘转动幅度较大，车辆的行驶轨迹也变化较为剧烈。另外，通过检测方向盘转角速率也可以在一定工况下预估驾驶员驾驶员疲劳状态，例如，在正常驾驶条件下驾驶员对转向盘调整时较为缓慢，而在疲劳驾驶时，驾驶员很可能突然调整转向盘，当然这种检测方式实时性较差，可以作为其他检测方式的补充。
以上提到的检测方式针对驾驶辅助来说有如下区别，在L1级自动驾驶中，允许驾驶员放开双脚，其纵向控制可交由系统进行，双手仍需控制车辆转向，此方法的检测结果较为有效。而针对L2级自动驾驶，允许驾驶员松开双手双脚，其横纵向均交由系统进行控制，以上方法则需要一定的改进措施，比如对于方向盘转动的检测可放在TJAICA进行脱手报警之后进行，分不同的脱手报警级别显示不同的疲劳和注意力等级结果。
2、车辆行驶速度检测
有研究表明，通过实时监测车辆的行驶速度，判断车辆是处于有效控制状态还是失控状态，从而可间接反映驾驶员状态。具体的方式是通过对车速、车辆横向位置、转向盘转角和航偏角的测量，利用前馈神经网络FFNN对测得的疲劳特征参数进行分类，进而通过参数匹配来判断驾驶员是否疲劳。
3、车道偏离检测
对于自动驾驶而言，车道偏离检测已经是一个比较基础的安全预警功能，而出现这一车道偏离的原因大部分是因为驾驶员疲劳驾驶，或注意力分散导致反应迟钝造成的。我们通过一套前视摄像头系统实时检测驾驶员行车轨迹与车道线的距离，当车辆运行轨迹与车道中心距离出现偏离且持续一定时间时，则判断驾驶员出现疲劳或注意力分散状态。
◆◆ 基于信息融合技术的方法◆◆基于信息融合技术方法，旨在于将驾驶行为的检测方法和基于驾驶员生理特征的检测方法相结合。通过主辅结合的检测方式，以驾驶员生理信号及生理反应检测(包括PERCLOS检测、头部位置、嘴巴张合状态、视线方向)为基础判别数据，结合驾驶员行为数据(包括方向盘转向、握力、车道跟踪、制动、油门等)为辅助判别数据提升基础判别数据的检测效果。
以上识别过程可通过制定一套完整的传感器探测来进行检测。比如瑞士一家汽车设计公司通过在汽车主驾位置设计一种驾驶室，该驾驶室采用了最新的灵敏表面技术，以及各种先进的发光膜材料、传感器等，驾驶员需要在手腕上佩戴一个生物统计测量表，以测量其脉搏变化，而安装在车上的摄像头将检测汽车速度、变线频率以及与前车的距离，当然主要的测量手段还是利用安装在仪表盘周边位置的摄像头组检测驾驶员头部、脸部相关信息，将所有这些传感监控数据汇总到车载计算机中，计算机对驾驶员精神状态做出快速评估，并迅速启动应对程序。
◆◆ 总结◆◆基于驾驶员生理信号的疲劳检测技术优点是客观性强，能比较准确地反映人体的疲劳状态，但其准确性与生理参数检测仪器有比较大的关系，同时一般都为接触式检查方法，在自动驾驶设计中产生很多局限性。
基于驾驶员生理反应特征的检测方法一般采用非接触式检测途径，利用实时图像处理技术，跟踪和分析眼睑状态和眼睛注视位置，在疲劳和注意力检测精度都较好。但是缺点是检测识别算法比较复杂，疲劳特征提取困难，且检测结果收到光线变化和个体生理状况的影响较大。
以上提到的非接触式检测，信号容易提取，不会对驾驶员产生干扰，但由于车辆运行状态，除了与驾驶员操作有关外，还与车辆特性，操作技能、道路环境、驾驶经验、驾驶条件、行驶速度、道路等很多环境因素相关，安全驾驶与非安全驾驶很难界定。同时，在低速驾驶过程中这些参数也很难反映驾驶员疲劳状态。
对于自动驾驶而言，对驾驶员疲劳或注意力分散的检测都可依托于其安全紧急报警无法得到响应来体现，但这种方式均存在一定的滞后性，因此，如何提高驾驶员状态的预测精度是此类间接检测驾驶员疲劳方法的关键。
