【自动驾驶】基于面部Fatigue检测的技术报告

【自动驾驶】基于面部Fatigue检测的技术报告

关于疲劳驾驶检测研究主要有哪几个方向

• 信号特征

  主要是通过如下信号进行疲劳检测

  • 心电信号：

    ECG心电图， PPG光容积描记术

  • 脑电信号：

    根据不同频段划分成5种波

    • $\gamma$ 波（30~42Hz）
    • $\beta$波（13~30Hz）
    • $\alpha$波（8~13Hz）
    • $\theta$波（4~8Hz）
    • $\delta$波（0.5~4Hz）

  • 肌电信号：

    表面肌电信号（sEMG）

  • 眼电信号：

    测量眼睛角膜（带正电）和视网膜（带负电）之间的电位差（EoG）

• 车辆特征

  方向盘转角，车辆行驶速度，车辆加速度，行车轨迹，车道偏移量，司机身体各部位在座椅上施加的压力，制动踏板的压力等

• 面部特征

  眼睛

  • 眼睛纵横比（EAR），闭眼时长百分比（PERCLOS）

  嘴巴

  • 嘴巴纵横比（BAR），嘴巴张开频率（FOM）

  表情

  • 基本表情：生气，厌恶，恐惧，开心，伤心，惊喜和中立
  • 人脸表情动作单元：通过面部动作编码系统FACS，将其划分成若干既相互独立又相互联系的动作单元AU1，AU2，…，AU28。

  鼻子

  • 呼吸频率：利用热成像摄像机采集鼻子周围的温度，进行呼吸频率的检测

  头部姿态

  • 打瞌睡，摇头等

  手势

  • 不安全行为：抽烟，打电话
  • 其他行为（待研究）：托腮，挠头，捂嘴，捏鼻子

  面部纹理

  • 有些研究者直接将检测到的人脸进行纹理特征提取，用模型进行疲劳识别

基于面部的疲劳检测研究的发展现状

共搜集43篇论文

• 国外论文（2003 ~ 2021，共31篇）

  • 2003_A monitoring method of driver fatigue behavior based on machine vision

    刊物：IEEE Trans，引用量 78，中国 吉林大学

    研究点：追踪眼部区域，提取眼睛运动特征进行疲劳检测

    研究内容：

    • 使用2002年提出的二维Gabor小波变换，提取司机眼睛区域的Gabor特征。
    • 使用神经网络对驾驶员的疲劳行为进行分类。

  • 2004_Monitoring mouth movement for driver fatigue or distraction with one camera

    刊物：IEEE，引用量 139，中国 吉林大学

    研究点：检测嘴巴状态

    研究内容：

    • 使用BP神经网络提取嘴巴形状特征，对正常，说话和打哈欠三种行为进行检测，实现疲劳识别。

  • 2004_Robust real-time eye detection and tracking under variable lighting conditions and various face orientations

    刊物：Elsevier，引用量 312，美国 伦斯勒理工学院

    研究点：在不同的头部姿态以及不同的光照条件下，研究眼睛检测和眼睛追踪

    研究内容：

    • 利用源红外照明环境下瞳孔变亮的特点，提取眼睛纹理样式，使用SVM模型进行眨眼检测。
    • 使用Kalman滤波，mean shift均值漂移聚类算法进行眼睛跟踪

  • 2004_An automated face reader for fatigue detection

    刊物：IEEE，引用量102，美国 内华达大学 伦斯勒理工大学

    研究点：通过人脸动作单元识别（表情识别），进行疲劳识别

    研究内容：

    • 将人脸表情语言（FACS）喂给动态贝叶斯网络（DBN）进行模型的训练

  • 2005_Yawning detection for determining driver drowsiness

    刊物：IEEE，引用量 98，中国 上海交通大学

    研究点：哈欠检测

    研究内容：

    • 提出MAR特征来描述嘴巴的张合度。
    • 如果20帧中的MAR值都大于0.5，则识别为打哈欠。

  • 2005_Fatigue detection based on the distance of eyelid

    刊物：IEEE，引用量 134，中国 山东大学

    研究点：通过眼睑纵横比来识别眨眼特征

    研究内容：

    • 通过检测上眼睑和下眼睑的距离来判断司机是否处于疲劳

  • 2008_Nonintrusive Driver Fatigue Detection

    刊物：IEEE，引用量 31，中国 北京科技大学

    研究点：通过嘴巴和眼睛部位来识别疲劳

    研究内容：

    • 提取眼睛的LBP特征，使用adaboost算法进行眼睛的睁闭检测。
    • 使用Gabor滤波提取嘴巴边缘特征，通过线性判别分析对嘴巴哈欠行为进行检测。
    • 使用Bayesian网络融合两种特征进行疲劳检测。

  • 2010_Driver drowsiness identification by means of passive techniques for eye detection and tracking

    刊物：IEEE，引用量 13，意大利

    研究点：考虑到ICA算法对眨眼检测效率过低，每秒只能处理7帧的问题，这里提出了新的眼睛检测和眼睛跟踪算法。

    研究内容：

    • 使用提取好的Viola-Jones人脸特征，以及模板匹配算法分别进行眼睛检测和眼睛跟踪。

  • 2010 Gabor-based dynamic representation for human fatigue monitoring in facial image sequences

    刊物：sciencedirect，引用量 53，中国 北京科技大学

    研究点：利用Gabor小波变换对面部图片进行多尺度的特征提取和融合，使用Adaboost模型实现疲劳检测

    研究内容：

    • 利用Gabor小波变换对面部图片进行多尺度的特征提取和融合，使用Adaboost模型实现疲劳检测

    

  • 2011_Real-Time Gaze Estimator Based on Driver’s Head Orientation for Forward Collision Warning System

    刊物：IEEE，引用量 131，韩国 东国大学

    研究点：通过3个欧拉角（pitch,yaw）估计头部方向

    研究内容：

    • 使用椭圆体头部模型替代圆柱体模型估计司机yaw特征
    • 使用归一化标准化的偏移量和纵向投影直方图估计司机pitch特征

  • 2013_Visual analysis of eye state and head pose for driver alertness monitoring

    刊物：IEEE，引用量 240，美国 坦普尔大学

    研究点：使用眼睛瞳孔比例特征（EI），瞳孔中心的偏移比率（PA）和头部姿态特征（HP）来进行疲劳估计

    研究内容：

    • 使用Adaboost和自适应阈值方法进行瞳孔中心偏移检测
    • 使用pnp模型进行头部姿态估计
    • 使用Lucas–Kanade optical flow算法进行头部运动追踪
    • 使用之前提取的特征序列，使用SVM模型进行non-alert和alert的分类

  • 2014_Hybrid computer vision system for drivers’ eye recognition and fatigue monitoring

    刊物：Elsevier，引用量 136，波兰 克拉科夫AGH科技大学

    研究点：在红外摄像头下识别眼睛状态

    研究内容：

    • 使用两个级联分类器，一个用于眼睛区域的检测，另一个用于眼睛状态的分类

  • 2014_Classification of driver fatigue expressions by combined curvelet features and Gabor features, and random subspace ensembles of support vector machines

    刊物：IOS Press Content Library，引用量 7，中国 东南大学

    研究点：对疲劳表情进行识别

    研究内容：

    • 使用Curvlet和Gabor小波变换，提取疲劳表情特征
    • 使用多项式核函数的SVM的随机子空间集成模型，对疲劳表情特征进行分类：清醒，中度疲劳，严重疲劳。

  • 2014_Eye-state analysis using an interdependence and adaptive scale mean shift (IASMS) algorithm

    刊物：Elsevier，引用量 6，马来西亚

    研究点：对瞳孔位置进行跟踪和估计，进行眼睛状态分类

    研究内容：

    • 使用具有内在依赖性的动量特征和自适应尺度mean shift聚类算法进行瞳孔位置的跟踪和估计。

  • 2014_Eyes closeness detection from still images with multi-scale histograms

    刊物：Elsevier，引用量 132，中国 南京航空航天大学

    研究点：检测眼睛是否闭合

    研究内容：

    • 为了解决图片噪声和尺度变化对模型鲁棒性的影响，提出了利用主方向梯度的多尺度梯度直方图（MultiHPOG）作为特征提取器

  • 2015_Drowsy Driver Identification Using Eye Blink detection

    刊物：Citeseer，引用量 44，印度

    研究点：研究眼睛是否张开还是闭合，研究是否打哈欠

    研究内容：

    • 使用“Viola-Jones”方法进行人脸检测
    • 使用CART方法对人眼ROI区域进行Haar特征的识别

  • 2015_Segmentation method of eye region based on fuzzy logic system for classifying open and closed eyes

    刊物：SPIE，引用量 14，韩国 东国大学

    研究点：检测眼睛的睁闭情况

    研究内容：

    • 在HSI和CMYK颜色空间中，分别使用I和K颜色信息进行眼睛分割
    • 将I,K作为眼睛区域特征，接着对其进行二值化后，最后使用模糊逻辑系统进行眨眼识别。

  • 2016_Human fatigue expression recognition through image-based dynamic multi-information and bimodal deep learning

    刊物：SPIE，引用量 12，中国山东大学

    研究点：疲劳表情识别

    研究内容：

    • 使用CLM模型进行人脸关键点检测。
    • 使用堆叠的自编码器，对双模态特征（68个关键点，眼睛纹理特征）进行疲劳分类。

  • 2018_IOT based Real-time Drowsy Driving Detection System for the Prevention of Road Accidents

    刊物：IEEE，引用量 22，泰国

    研究点：使用树莓派3，利用EAR进行疲劳检测

    研究内容：使用树莓派3，利用EAR进行疲劳检测

  • 2019_A Realistic Dataset and Baseline Temporal Model for Early Drowsiness Detection

    刊物：IEEE CVF，引用量 48，美国 德州大学

    研究点：基于眨眼的疲劳检测

    研究内容：

    • 使用dlib提取人眼关键点，计算EAR值，并从多个帧中提取每一个blink，每个blink包含duration，amplitude，eye opening velocity，frequency 4维的特征。
    • 定义一个时间窗口，将blink特征喂给HM-LSTM网络，学习blink在时间维上的特征。
    • 利用全连接层，回归单元，离散化取值，将KSS值映射到3种fatigue状态上。

  • 2019_Real Time Driver Fatigue Detection System Based on Multi-Task ConNN

    刊物：IEEE Access，引用量 15，土耳其

    研究点：通过PERCLOS，眨眼频率和哈欠频率（FOM）来检测驾驶员的疲劳状态。

    研究内容：先使用dlib提取面部区域和关键点，接着使用Multi-Task CNN对yawn，eye特征进行学习；接着在使用分类器计算PERCLOS，FOM。

  • 2020_Driver Fatigue Detection Method Based on Eye States With Pupil and Iris Segmentation

    刊物：IEEE Access，引用量（0），中国 浙江师范大学

    研究点：提出了SESDM网络检测模型使用U-net提取瞳孔和虹膜特征。

    研究内容：

    • 使用SESDM网络（共两个），第一个网络是对原始的眼睛进行语义分割，提取瞳孔和虹膜特征，第二个网络对前面提取的特征进行eyes openness的判断。

      

    • SESDM网络检测出是否眨眼后，计算PERCLOS

  • 2020_A fatigue driving detection algorithm based on facial multi-feature fusion

    刊物：IEEE Access，引用量 10，中国 深圳信息职业技术学院 南方科技大学

    研究点：通过检测闭眼时长、眨眼频率和哈欠频率，来识别驾驶员疲劳状态。

    研究内容：

    • yolov3-tiny检测人脸
    • 使用Dlib工具包提取eye，mouth特征向量
    • 使用SVM分类器，利用闭眼时间，眨眼频率和哈欠频率来evaluate fatigue state。
    • 识别模块主要包括：身份识别，身份验证，利用眼睛，嘴巴分类器，计算PERCLOS，眨眼频率，哈欠频率，进行在线疲劳检测。

  • 2020_Driver Fatigue Detection System Based on Colored and Infrared Eye Features Fusion

    刊物：researchGate，引用量 2，中国 首都师范大学 北方工业大学

    研究点：通过融合彩色和红外照片，计算PERCLOS、眨眼频率和眨眼持续时间。

    研究内容：

    • 从colored，infrared images中分别提取特征，并进行加权融合
    • 使用dlib提取人脸关键点，并计算相应的融合特征
    • 使用SVM学习这些融合特征中的疲劳信息。

  • 2020_Long Short-term Memory Network Based Fatigue Detection with Sequential Mouth Feature

    刊物：IEEE，引用量1，中国 华南理工大学

    研究点：使用Resnet和LSTM进行哈欠检测

    研究内容：

    • 使用梯度直方图（HOG）特征和SVM进行人脸检测
    • 使用级联回归树检测嘴巴区域
    • 使用Resnet和LSTM进行嘴巴区域的空间-时间特征的提取，进行哈欠动作的识别（YawDD数据集检测准确度为94.9%）

  • 2021_IoT-Based Smart Alert System for Drowsy Driver Detection（扯淡）

    刊物：Hindawi，引用量 6，印度

    研究点：使用EAR进行疲劳检测，使用其他传感器进行碰撞检测

    研究内容：

    • 使用树莓派实现基于EAR的疲劳检测
    • 通过车辆传感器采集的冲撞信号进行车辆的碰撞检测

    

  • 2021_Driver Mental Fatigue Detection Based on Head Posture Using New Modified reLU-BiLSTM Deep Neural Network

    刊物：IEEE Tran，引用量 0，澳大利亚 伍伦贡大学

    研究点：利用头部角度加速器数据对注意力，随机运动，打哈欠，点头和头部摇晃进行检测。

    研究内容：

    • 使用Xsens动作捕捉软件检测头部姿势
    • 使用reLU-BiLSTM训练头部角度加速器数据，进行疲劳状态识别

  • 2021 Eye Fatigue Prediction System Using Blink Detection Based on Eye Image

    刊物：IEEE，引用量 0，日本 九州工业大学

    研究点：修改了EAR的计算公式，进行疲劳检测

    研究内容：

    • 使用修改了的EAR进行疲劳检测
      

  • 2021_Drivers Fatigue Detection Using EfficientDet In Advanced Driver Assistance Systems

    刊物：IEEE，引用量3，突尼斯

    研究点：使用efficientDet模型检测眼睛和嘴巴状态，并通过PERCLOS和FOM特征进行疲劳判断

    研究内容：

    • 使用efficientDet D0进行人脸关键点检测
    • 使用PERCLOS和FOM指标进行驾驶员疲劳检测
    • 使用NTHU-DDD数据集，利用PERCLOS和FOM特征进行efficientDet模型的微调，检测准确度达到96.05%

  • 2021_Development of nose detection and an infrared image matching system for mental fatigue evaluation

    刊物：IEEE，引用量0，日本 东京理科大学

    研究点：使用热感应摄像机和KAZE算法，利用鼻子呼吸时环境的温度变化估计呼吸行为，使用彩色/红外线图片进行鼻子检测。

    研究内容：

    • 利用KAZE算法提取鼻子特征，通过鼻子周围的温度变化分析一个人的压力水平

• 国内论文（2018 ~ 2021，共12篇）

  • 2018_基于模糊综合评价的疲劳驾驶检测算法研究

    刊物：软件学报，CCF A，引用量28，杭州师范大学，浙江大学

    研究点：眼睛睁闭合检测

    针对的问题：

    综上所述, 现有的基于计算机视觉的疲劳检测机制中通常都是在对人眼精确定位后利用眼睛单一特征进行分析,判定出人眼状态.该类算法易受外界环境干扰, 如光线、眼镜等因素,误判率高,具有一定的局限性。

    评价：后来研究者们没有使用这个方法（即使被引用了28次），仍然喜欢使用关键点检测进行眨眼研究，从他的实验结果也能看出数据量明显不够，他提出的算法并不能解决所提问题。

    研究内容：

    • 将传来的连续帧图像(视频)利用 Adaboost 算法进行人脸检测，根据人脸“三庭五眼”的分布特征分割出大致的人眼区域。
    • 在人眼定位过程中,采用 OSTU 阈值分割,非线性点运算和积分投影等预处理消除眉毛。
    • 利用模糊综合评价算法对眼睛矩形区域的长宽比、拟合椭圆面积、瞳孔黑色素所占比例这 3 个影响因子进行分析,判别出眼睛的睁开闭合状态。
    • 最后根据 PERCLOS 原理对驾驶员的疲劳状态做出检测。

    

  • 2019_基于改进ASM的多特征融合疲劳检测方法

    刊物：计算机工程与设计，CCF C，引用量4，南京工业大学

    研究点：利用眨眼频率，嘴巴张合度特征，使用模糊推理机进行疲劳估计

    针对的问题：

    为了解决驾驶员在行驶过程中头部发生多角度变化导致难以定位面部特征的问题，应用改进的ASM算法精确定位眼睛和嘴部区域。

    评价：

    改进的ASM人脸定位算法是1998年提出的，2019年用在疲劳检测上能解决这个问题吗，肯定是不行的。

    研究内容：

    • 使用改进的ASM算法精确定位眼睛和嘴部区域，计算眼睛的长宽比值、嘴部高度值和嘴部附近的黑白像素比值，得出眨眼频率和嘴巴张开程度。

    评价：

    • 嘴部纵横比（MAR）不香吗，偏要改成嘴部高度值和嘴部附近的黑白像素比值，改了也不和之前的MAR进行比较，选择性地视而不见。
    • 数据集用的还是自己的，公开的数据集也不主动验证一下

  • 2019_基于人眼信息特征的人体疲劳检测

    刊物：计算机应用，CCF C，引用量11，重庆邮电大学

    研究点：

    针对的问题：

    头部姿势变化、光线等因素对人眼定位造成很大影响，从而影响人眼状态识别以及疲劳检测的准确性。为此提出了一种利用级联卷积神经网络通过检测人眼6个特征点来识别人眼状态进而识别人体疲劳的方法。

    评价：

    不用好的68个人脸关键点检测模型，而是通过自己设计的网络和公开的数据集，重新训练人眼定位模型（6个关键点），训练好的模型在实验结果中可以发现眼睛定位检测效果一般。

    研究内容：

    • 一级网络采用灰度积分投影结合区域一卷积神经网实现人眼的检测与定位；

      
      

    • 二级网络将人眼图片进行分割后采用并联子卷积系统进行人眼特征点回归；

    • 最后，利用人眼特征点计算人眼闭度识别当前人眼状态，并根据单位时间闭眼百分比（PERCLOS) 准则判断人体疲劳状态。
      

  • 2020_基于人脸检测和模糊综合评判的在线教育专注度研究

    刊物：计算机科学，CCF B，引用量8，华南师范大学

    研究点：基于头部姿态，面部表情，眼睛嘴巴状态的疲劳估计

    针对的问题：

    针对在线教育中对学生的监督手段较为匮乏的问题，提出了基于头部姿态，面部表情，眼睛状态和嘴巴状态的模糊推理模型进行疲劳量化评分。

    评价：

    针对的问题就不是一个科学的问题，而且疲劳量化评分规则有点复杂。

    研究内容：

    • 本文提出了一种基于头部姿态、面部表情、眼睛状态和嘴巴状态４个因子检测，使用模糊综合评判，把学习者的学习专注度量化表示为0~100之间的分数的算法。

      

    • 使用dlib进行人脸关键点检测，使用FER2013数据集对CNN模型进行训练。

    • 在模糊综合评判中，设定检测周期，根据周期内的每一次检测结果计算
      头部偏转角均值，评估头部姿态评分，并使用模糊综合评判计算情绪综合评分，使用 perclos 疲劳度检测算法计算疲劳度

    • 最后采用模糊综合评判，把头部姿态评分、情绪评分和疲劳度组成模糊集，使用层次分析法来确定各个因素权重，量化评判具有模糊性的评判目标（学习专注度）。

  • 2020_基于级联宽度学习的疲劳驾驶检测

    刊物：计算机工程与设计，CCF C，引用量6，中国矿业大学

    针对的问题：为减少因疲劳驾驶引发的交通事故

    研究点：使用PCN进行人脸检测，使用自定义的CNN进行关键点定位，使用BLS系统对眼睛、嘴巴和头部姿态特征序列进行疲劳状态分析。

    研究内容：

    • 提出融合多参数的驾驶员疲劳检测算法。用渐进校准网络（PCN) 检测人脸图像，得到人脸框和人脸角度值
    • 通过基于CNN的回归模型定位人脸关键点；
    • 根据关键点坐标和面部器官的分布规律提取眼睛和嘴部图像，用宽度学习系统（BLS) 分别识别眼睛与嘴巴的状态；将眼睛、嘴巴和头部状态的时序序列送入二级宽度网络对司机的状态进行判别。

  • 2020_基于卷积专家神经网络的疲劳驾驶检测

    刊物：计算机工程与设计，CCF C，引用量2，五邑大学

    针对的问题：针对疲劳驾驶引发众多交通事故的问题

    研究点：使用改进的KCF算法进行人脸目标跟踪，使用CE-CLM模型进行人脸关键点检测。

    研究内容：

    • 为每个人脸建立小幅度的图像金字塔，使用KCF算法实现多尺度的人脸目标跟踪。
    • 使用CE-CLM模型进行人脸关键点检测
    • 使用角度检测法替代EAR算法进行眼睛闭合检测

    YawDD哈欠检测准确率仅有91.67%
    

  • 2020_多特征融合的随机森林疲劳驾驶识别算法

    刊物：计算机工程与应用，CCF C，引用量6，南京理工大学

    针对的问题：复杂的交通环境，个人和社会因素制约了疲劳驾驶识别技术的应用效果，为了解决这个问题，提出了融合眼部特征和车辆特征的疲劳检测模型。

    研究点：提出了融合眼部特征和车辆特征的疲劳检测模型。

    研究内容：

    • 使用dlib计算EAR, MAR
    • 使用线性拟合趋势提取法得到车辆操纵活跃度特征
    • 采用随机森林对疲劳特征进行识别

  • 2020_基于眼动特征的驾驶员疲劳预警系统设计

    刊物：软件导刊，CCF 普刊，引用量5，江西科技学院

    针对的问题：疲劳驾驶是导致交通事故的重要原因之一

    研究点：PERCLOS闭眼检测

    研究内容：系统通过手机摄像头实时采集驾驶员面部数据，通过人脸人眼定位后，计算出per-clos和眨眼时间均值。将数据输入疲劳检测模块，一旦检测到驾驶疲劳，系统即进行文字和语音提醒。

  • 2021_基于眼部自商图—梯度图共生矩阵的疲劳驾驶检测

    刊物：中国图象图形学报，CCF B，引用量1，浙江工业大学

    针对的问题：疲劳驾驶是引发车辆交通事故的主要原因之一，针对现有方法在驾驶员面部遮挡情况下对眼睛状态识别效果不佳的问题。

    研究点：使用SSD模型检测人脸区域，通过人脸关键点算法提取眼睛局部区域图像，使用自商图与梯度图共生矩阵模型判别人眼开闭状态，使用PERCLOS特征，MCD判别疲劳。

    研究内容：

    • 利用以残差网络( residual network，ResNet) 为前置网络的 SSD( single shot multibox detector) 人脸检测器来获取视频中的有效人脸区域，并通过人脸关键点检测算法分割出眼睛局部区域图像。
    • 建立驾驶员眼部的自商图与梯度图共生矩阵模型，分析共生矩阵的数字统计特征，选取效果较好的特征用以判定人眼的开闭状态。
    • 使用Perclos，最长闭眼持续时间（MCD）判别驾驶员的疲劳状态。

  • 2020_伪3D卷积神经网络与注意力机制结合的疲劳驾驶检测

    刊物：中国图象图形学报，CCF B，引用量4，南京理工大学

    针对的问题：复杂环境下的疲劳驾驶检测是一个具有挑战性的技术问题。为了充分利用驾驶员面部特征信息与时间特征，提出一种基于伪 3D( Pseudo-3D，P3D) 卷积神经网络( convolutional neural network，CNN) 与注意力机制的
    驾驶疲劳检测方法。

    研究点：利用伪3D( Pseudo-3D，P3D) 卷积神经网络(convolutional neural network，CNN) 与注意力机制的进行驾驶疲劳估计。

    研究内容：

    • P3D 结构( Qiu 等，2017) 利用 1 × 3 × 3 卷积核和 3 × 1 × 1 卷积核在空间域和时间域上模拟 3 × 3 × 3 卷积，在时间和空间上将 3 × 3 × 3 卷积进行解耦。（伪3D，即两个卷积分别进行空间和时间域上的卷积实现特征的提取）

    • 提出了疲劳驾驶检测模型P3D-Attention，其以 P3D 模块将空间与时间卷积解耦为基础，分别与适应的空间注意力模块和双通道注意力模块融合，充分融合时空特征，提高重要通道特征的相关度，增加特征图的全局相关性，以提高对疲劳驾驶行为的预测性能。

      

    YawDD数据集上的检测结果：

    

  • 2020_融合人眼特征与深度学习的疲劳驾驶检测模型

    刊物：计算机工程，CCF C，引用量0，长安大学

    针对的问题：针对现有疲劳驾驶检测技术不能有效平衡准确性和实时性的问题，通过融合人眼特征与深度学习，构建一种新的疲劳驾驶检测模型。

    评价：

    直接将眼睛图片经过VGG模型处理成KSS值，然后通过定量分析（对KSS值进行统计），估计驾驶员的疲劳级别。这个过程中把最重要的perclos特征给忽视掉了，结果再好我是不信的。

    研究点：

    • 使用带有Ghost模块的VGG16的GP-VGG16模型进行眼部状态识别 （Ghost模块参考 Ghost module，降低卷积的通道数，利用cheap operations 线性变换算子生成冗余的特征图）

    研究内容：

    • 设计 GP-VGG16 网络进行眼部状态识别，通过将人工先验信息集成到轻量级深度网络中，提高眼部状态识别的准确性、稳定性和实时性。

    • 在此基础上，利用眼部特征-疲劳等级模型将疲劳状态划分为 9 个等级，定量估计驾驶员状态。（在VGG16模型的基础上引入Ghost模块，然后使用积分投影特征与Ghost模块的输出特征进行concat，然后预测出kss值）

      

  • 2021_基于边缘计算的疲劳驾驶检测方法

    刊物：计算机工程，CCF C，引用量0，武汉理工大学

    针对的问题：现有疲劳驾驶检测方法通常将驾驶过程中采集的数据传输至云端进行分析，然而在车辆移动过程中网络覆盖范围、响应速度等因素会造成检测实时性差。为在车载嵌入式设备上对驾驶人疲劳状态进行准确预警，提出一种基于边缘计算的疲劳驾驶检测方法。

    研究点：通过改进的多任务卷积神经网络确定人脸区域，根据人脸的面部比例关系定位驾驶人的眼部与嘴部区域，利用基于 Ghost 模块的轻量化 AlexNet 分类检测眼部与嘴部的开闭状态，并结合PERCLOS 和 PMOT 指标值实现疲劳检测。

    研究内容：

    • 使用基于改进的 MTCNN 进行关键点定位（5个关键点）
    • 使用带Ghost模块的AlexNet对提取的眼部ROI区域，嘴巴ROI区域分别进行闭眼睁眼，闭嘴打哈欠状态的识别。

    

按年份和科研单位及刊物级别进行分析

主要分析以下几点：

• 科研单位的变化：
  • 在2014年之前，主力军主要是中国的985，211院校，以及韩国和欧美国家；
  • 2014年后，主力军发展到了小国家，以及国内的普通院校。
• 期刊质量的变化：
  • 2014年之前，疲劳检测相关论文主要刊登在IEEE和Elsevier上。
  • 2014年之后，疲劳检测相关论文的期刊质量开始缩水，IEEE的论文质量大不如前。

按年份和使用的模型进行分析

可以发现：

• 在2014年之前，疲劳检测的创新点主要集中在图像处理方面，通过各种特征提取方法来进行眨眼，哈欠，表情的识别。
• 在2014年之后，深度学习模型实现了高精度的人脸定位之后，疲劳检测迎来一个小高峰，但公开的疲劳检测数据集很快就刷爆了，在研究思路上遇到了瓶颈。

按年份和数据集进行分析

• 2014 YawDD哈欠检测数据集

  YawDD( a yawning detection dataset) ( Abtahi 等，2014) 数据集包含两组具有不同面部特征的驾驶员视频数据，主要用于检测算法模型，也可用于人脸和嘴巴的识别和跟踪，视频是在真实和变化的照明条件下拍摄的。在第 1 个数据集中，摄像头安装在汽车前视镜下方，每个参与者有 34 个视频，每个视频包含不同的口腔状况，如正常、说话/唱歌和打哈欠。该数据集提供了 322 个视频，包括来自不同种族的男女司机、戴或不戴近视镜/太阳镜，以及在3 种不同情况下的表现( 1 表示正常驾驶( 不说话)） ;
  2 表示开车时说话或唱歌; 3 表示开车时打哈欠) 。

• 2016 NTHU-DDD多种疲劳行为检测数据集

  2016 年公开的 NTHU-DDD 是新竹大学采集的关于驾驶员嗜睡场景的视频数据集，主要用来研究在不同场景下不同动作组合所反映的嗜睡程度。整个数据集包含 36 名来自不同种族，戴墨镜和不戴墨镜的参与者，在白天和夜间，在各种模拟驾驶场景下，记录驾驶员的打哈欠、慢眨眼、打瞌睡、大笑等面部行为。该数据集通过不同的动作组合，将场景划分为嗜睡场景和非嗜睡场景，嗜睡的相关动作组合包括打哈欠、点头、慢眨眼；非嗜睡的动作组合包括说话、大笑、视线关注左右两边。整个数据集共 90 个驾驶视频，总时长约为 9 个半小时。

• 2016 Drozy多模态PVT测试数据集

  2016 年公开的 Drozy 数据集取自 14 名年轻的健康参与者，每个参与者需要在 3 个不同时间段（起床后 3h，起床后 21h，起床后 29h）分别进行长达 10min 的精神运动警觉测试（PVTS），对每个参与者采集如下数据：KSS 疲劳状态评分，PVT 任务中的刺激时间和响应时间数据，由脑电信号（EEG）、眼电信号（EOG）、心电信号（ECG）、肌电信号（EMG）共同组成的多导睡眠（PSG）信号，深度摄像头采集的红外视频，以及人工和自动标注的人脸关键点。该数据集可用于多模态的疲劳状态的研究。

• 2019 UTA-RLDD多受试者彩色真实疲劳数据集

  UTA-ＲLDD ( University of Texas at Arlington real-life drowsiness dataset) ( Ghoddoosian 等，2019) 是包含 60 名受试者的大型公共真实数据集，指示受试者通过手机/网络摄像头以 3 种不同的睡意状态拍摄自己的 3 个视频，每个视频大约 10 min。这个数据集由大约 30 h 的视频组成，内容从轻微的睡意到更明显的睡意。视频片段标记为警戒( alert) 、低警惕( low vigilant) 或昏昏欲睡( drowsy) 。

按年份和针对的问题来分析

通过对国内期刊的分析（2018~2021），他们针对的问题主要如下：

论文题目	期刊名称	期刊级别	针对的问题
2018_基于模糊综合评价的疲劳驾驶检测算法研究	软件学报，引用量28，杭州师范大学，浙江大学	CCF A	现有的基于计算机视觉的疲劳检测机制中通常都是在对人眼精确定位后利用眼睛单一特征进行分析,判定出人眼状态。该类算法易受外界环境干扰, 如光线、眼镜等因素,误判率高,具有一定的局限性
2019_基于改进ASM的多特征融合疲劳检测方法	计算机工程与设计，引用量4，南京工业大学	CCF C	为了解决驾驶员在行驶过程中头部发生多角度变化导致难以定位面部特征的问题，应用改进的ASM算法精确定位眼睛和嘴部区域。
2019_基于人眼信息特征的人体疲劳检测	计算机应用，引用量11，重庆邮电大学	CCF C	头部姿势变化、光线等因素对人眼定位造成很大影响，从而影响人眼状态识别以及疲劳检测的准确性。
2020_基于人脸检测和模糊综合评判的在线教育专注度研究	计算机科学，引用量8，华南师范大学	CCF B	针对在线教育中对学生的监督手段较为匮乏的问题，提出了基于头部姿态，面部表情，眼睛状态和嘴巴状态的模糊推理模型进行疲劳量化评分。
2020_基于级联宽度学习的疲劳驾驶检测	计算机工程与设计，引用量6，中国矿业大学	CCF C	为减少因疲劳驾驶引发的交通事故
2020_基于卷积专家神经网络的疲劳驾驶检测	计算机工程与设计，引用量2，五邑大学	CCF C	针对疲劳驾驶引发众多交通事故的问题
2020_多特征融合的随机森林疲劳驾驶识别算法	计算机工程与应用，引用量6，南京理工大学	CCF C	复杂的交通环境，个人和社会因素制约了疲劳驾驶识别技术的应用效果，为了解决这个问题，提出了融合眼部特征和车辆特征的疲劳检测模型。
2021_基于眼部自商图—梯度图共生矩阵的疲劳驾驶检测	中国图象图形学报，引用量1，浙江工业大学	CCF B	疲劳驾驶是引发车辆交通事故的主要原因之一，针对现有方法在驾驶员面部遮挡情况下对眼睛状态识别效果不佳的问题。
2020_伪3D卷积神经网络与注意力机制结合的疲劳驾驶检测	中国图象图形学报，引用量4，南京理工大学	CCF B	复杂环境下的疲劳驾驶检测是一个具有挑战性的技术问题。为了充分利用驾驶员面部特征信息与时间特征，提出一种基于伪 3D( Pseudo-3D，P3D) 卷积神经网络( convolutional neural network，CNN) 与注意力机制的驾驶疲劳检测方法。
2020_融合人眼特征与深度学习的疲劳驾驶检测模型	计算机工程，引用量0，长安大学	CCF C	针对现有疲劳驾驶检测技术不能有效平衡准确性和实时性的问题，通过融合人眼特征与深度学习，构建一种新的疲劳驾驶检测模型。
2021_基于边缘计算的疲劳驾驶检测方法	计算机工程，引用量0，武汉理工大学	CCF C	现有疲劳驾驶检测方法通常将驾驶过程中采集的数据传输至云端进行分析，然而在车辆移动过程中网络覆盖范围、响应速度等因素会造成检测实时性差。为在车载嵌入式设备上对驾驶人疲劳状态进行准确预警，提出一种基于边缘计算的疲劳驾驶检测方法。

计算机视觉研究热点趋势分析

引用量分析

• 疲劳检测

  https://kns.cnki.net/kns/brief/default_result.aspx?code=CIDX&kw=疲劳检测

  学术关注度：可以发现国内外论文相关文献量差距很大，国内差不多每年80篇，国外差不多300篇。

  

  实际上疲劳检测是一个比较大的研究问题（主要包括视觉，生理信号以及车辆信息三个方向的研究），可以看出论文的发表量和研究问题的大小并不匹配，只能推测出疲劳检测的研究已经达到了一个瓶颈期，很难有新的突破。

  因此需要有一个新的疲劳制定标准（比如是疲劳迹象还是疲劳驾驶时长），规范疲劳检测方向的研究，也需要有一位知名度较高的学者能够站出来对过去近几年的疲劳检测文章进行“拨乱反正”，确定之前哪些方向的研究是有意义的，哪些是灌水的，这样才能提高疲劳检测的总体研究水平。

• 人脸识别

  

• 文本识别

  

• 自动驾驶
  

• 图像处理

  

• 图像分割

  

• 三维场景重建

  

实际上疲劳检测是一个比较大的研究问题（主要包括视觉，生理信号以及车辆信息三个方向的研究），可以看出论文的发表量和研究问题的大小并不匹配，只能推测出疲劳检测的研究已经达到了一个瓶颈期，很难有新的突破。个人感觉只能从疲劳数据集、面部疲劳特征的筛选，以及疲劳检测的实时性应用上下功夫。

因此需要有一个新的疲劳制定标准（比如是疲劳迹象还是疲劳驾驶时长），规范疲劳检测方向的研究，也需要有一位知名度较高的学者能够站出来对过去近几年的疲劳检测文章进行“拨乱反正”，确定之前哪些方向的研究是有意义的，哪些是灌水的，这样才能提高疲劳检测的总体研究水平。

我觉得比较水的疲劳检测论文无外乎这几点

• 不考虑数据集本身的特点，一言不合就使用深度学习模型，完成两步走：提取特征 + 对数据集进行训练。
  • 疲劳数据集在标注疲劳标签时本身就有问题，训练的模型精度再高，得到的模型也是过拟合的模型。
  • 单纯使用浅层的人工疲劳特征（EAR, MAR）就能很好的对数据集的疲劳状态进行识别，但有的研究就要绕远路使用深度学习模型从浅层的疲劳特征中继续学习深层疲劳特征，完成疲劳判断，深度学习模型起到多大的作用也没有分析。
• 现成较好的轮子（深度学习模型）不用，喜欢自己造轮子，造好的轮子不能单独发表到相应研究方向的较好的期刊，就用疲劳检测包装一下：
  • 自己训练人脸关键点检测模型
  • 自己训练表情模型（FER2013）
  • 自己训练人眼关键点定位模型（CEW，LFW）

疲劳检测的解决方案研究（科学性研究）

最近这3年的疲劳检测发展现状

• 有的研究只针对某些疲劳迹象，比如验证模型在YawDD上哈欠检测准确度，验证模型在NTHU-DD数据集上的疲劳行为检测准确度等。
• 而有的研究则使用深度学习模型，对标记好KSS疲劳标签的RLDD或者Drozy数据集进行训练，这类论文的研究灵活性在于：
  • 研究特征的预处理，即提取眨眼特征，嘴巴图片等，接着使用模型对多模态特征进行学习。
  • 因为标有KSS标签的每个视频约10min，差不多18000帧/个视频。如果将每个视频作为训练样本，使用LSTM或者3D卷积模型进行疲劳行为学习的话，空间特征学习还是较容易的，但是对于时间特征的学习就很困难了。因此需要先将每个视频切分成多个小的序列，作为每一个样本。但是在切分样本时不同研究者的刀工是不同的，得出的结论可比性较低。而且对于这类真实疲劳状态下的视频来说，仅通过一个标签进行定性确实有点不妥，用这类数据集进行深度学习模型的训练，此方法有待商榷。

基于面部的疲劳检测研究，可以上升到了一个哲学问题

对于疲劳检测，是对疲劳结果进行检测，还是对疲劳过程进行检测。

• 如果仅对结果进行检测，则会忽略疲劳变化过程中有用的信息；
• 如果仅对疲劳过程进行检测，则需要先将每一帧的图片转换成有用的人工特征（比如EAR，MAR，PERCLOS，人脸表情，头部姿态，眼睛视线等），将视频处理成有用的特征序列。然后像股票分析一样，进行疲劳过程中的多模态的时间序列分析，预测相对于当前时刻的未来特征序列，接着对未来的特征序列进行疲劳分类。但是在实践中会存在很大的困难：
  • 对于时间序列模型，不管是RNN、 LSTM还好，还是最近很火的Transformer，虽然可以完成序列到序列的分析，并且通过某种算法将输出的序列映射成疲劳的类别，但是此过程相当耗时，不适合实时的疲劳检测。
  • 二是有些特征受人为习惯，摄像头角度的影响比较严重（头部姿态，眼睛视线），如果在源域上进行多模态的模型学习，得到的模型在目标域上效果较差。

我们不禁停下来思考，疲劳究竟是什么？

在美国和中国，对于驾驶疲劳的定义有一定区别

1. 美国公路安全局(NHTSA)认证 PERCLOS作为疲劳驾驶识别的唯一特征（P70, P80指标） 参考 PERCLOS: A Valid Psychophysiological Measure of Alertness As Assessed by Psychomotor Vigilance

2. 国家出台文件中对疲劳驾驶的界定是基于驾驶时长的 参考 我国对疲劳驾驶的界定

   公安部关于《中华人民共和国道路交通管理条例》若干条款的解释（1988年7月4日）第九项第二款规定，“过度疲劳，是指驾驶员每天驾车超过八小时或者从事其他劳动体力消耗过大或睡眠不足，以致行车中困倦睦睡、四肢无力，不能及时发现和准确处理路面交通情况的。”

科学有意义的疲劳检测研究应该是怎样的 ？（浅谈一下）

下面这篇论文在疲劳检测任务的系统设计上，我觉得是比较科学的：

2020_基于信息融合技术的行车安全监测系统（计算机科学，CCF B，引用量2，哈尔滨工业大学，黑龙江大学）

论文提出：

• 现阶段疲劳检测存在的问题

  “物物相连，万物互联”概念的提出与实现使得物联网技术在我们生活的方方面面得以应用，汽车在设计制造时也越来越融入智能化元素，驾驶员通过汽车中控可以选择查看车辆的胎压、行驶速度、车内温度等车况信息。此外，各类智能
  化检测设备争相涌现，驾驶员可以选择购买酒精测试仪对自身是否达到酒驾标准进行判断，并根据自身状况利用互联网平台寻求代驾服务。

  实际使用各类智能化检测设备的过程中，上述功能或设备存在种种不足。

  • 首先，大部分配备胎压、车速、温度检测功能的汽车都需要驾驶员在中控屏幕上人为选择显示界面查看车况信息，异常的参数信 息（如 胎 压 过 低）则需要驾驶员自身查看后去判断，没有真正意义上达到智能化监测预警的目的。
  • 其次，驾驶员单独购买酒精检测仪的主动性不高，因而驾驶员自身是否达到酒驾标准的不确定性提高，且独立的酒精检测仪与汽车控制系统所组成的行车系统整体集成度不高。
  • 再次，现有配备疲劳驾驶检测功能的行车系统大多是基于驾驶员的面部特征对疲劳程度进行鉴别，而国家出台文件中对疲劳驾驶的界定是基于驾驶时长的，并且现有系统在检测到疲劳驾驶后采用本地信息提示的方式，未能提供后续引导服务。
  • 最后，交通警察对酒后驾驶行为的检查采用随机设卡抽查的方式，具有很大的流动性和不确定性，存在漏检、多检的情况，并且目前并没有相关的检测方法或设备对疲劳驾驶行为进行判定，使得出台文件对疲劳驾驶行为的规定缺乏强制性。

• 本文给出的疲劳检测系统设计方案

  

  • 车载监测终端（驾驶时长和酒精检测报警）

    车载监测终端（下文称监测终端）由数据处理部分和提示部分组成，通过北斗定位模块接入北斗导航系统，解析返回的北斗短报文以 获取 UTC 时间和位置信息；通过各类传感器模块实时获取车况的参数信息，将其在本地触摸屏显示并与设定的预警阈值比较判断，异常时实现本地报警。

    酒精浓度检测：提示酒精浓度异常时提供本地与远程代驾寻求服务，供驾驶员与 Android 移动终端使用者选择；酒精浓度超过预警阈值且驾驶员驱车出行时，向远程监测管理平台发送远程报警信息与车辆的参数信息；

    驾驶时长检测：通过 UTC 时间作差的方式获取驾驶时长，在接近4 h 预警阈值时进行本地提示，并提供前往就近停车场或泊车点的导航路径规划；驾驶员在驾驶时长满 4h 未停车休息时，向远程监测管理平台发送远程报警信息与车辆的参数信息。

    阈值设置：此外，车载监测终端可以在**本地软件程序（Android）**中与远程监测管理平台上设置各类参数的预警阈值，将重新设置的阈值信息及时更新到内存空间，从而基于新的预警阈值进行判断。

  • 远程监测终端（接收报警信息）

    用于远程设置各类参数的预警阈值，接收监测终端发送的报警信息及车辆的参数信息，解析车况信息显示在界面上并存储到本地数据库中，调用地图实时显示车辆的具体位置与行车路径，调用本地数据库查看车辆的历史数据。

  • Andriod移动终端（检测阈值设置，车辆路径导航和提供代驾服务）

    Andriod移动终端接收监测终端发送的报警信息及位置信息，地图显示车辆的具体位置，并根据移动终端的当前位置提供两者之间的导航路径。（我比较赞同一点，根据受试者手动设置阈值，如果用在面部疲劳识别上可以解决个体差异和摄像头角度问题）

  • 监测终端硬件结构框图 & 系统流程

    监测终端硬件结构框图：

    

    系统流程：

    

• 作者给出的展望

  1）本文的设计中，对疲劳驾驶的判断是基于驾驶时长的，这也是国家出台的规定中对疲劳驾驶的原始定义，如果结合当前较为热门和成熟的面部表情识别技术，可以更加全面地对驾驶员是否处于疲劳驾驶进行时间和生理上的双重判断。
  2）监测系统的监测对象除了汽车本身与驾驶员，还可以增加对乘客安全监测（比如吸烟，喝水，打电话识别）的功能，结合大众关心的对婴幼儿滞留车内等问题，增加这方面的系统设计，进而对乘客安全问题能给出初步的解决方案。

  3）本文设计的远程监测管理平台预想应用的场景为公安交通网络，交管人员在平台端获取酒驾或疲驾车辆的地图位置信息，可以就近出警，提高了工作效率和拦截精度。本地数据库中的历史信息可以作为交通违章的处罚依据。

综上所述

深度学习模型为疲劳检测提供底层基础，疲劳检测任务的研究重心应该转移到辅助驾驶（ADAS）系统的集成上，而不是重新造轮子，否定前人做出的比较好的模型。基于疲劳检测的软硬件集成设计应该是以后疲劳检测发展的主要方向，软硬服一体化是疲劳检测发展的必然趋势。对于此类系统的设计和实现，单靠一个人的力量是远远不够的，需要有一个团队的力量。

可以结合MEDIATOR半自动驾驶的论文进一步学习：https://mediatorproject.eu/deliverables