基于人脸关键点检测的驾驶员睡意检测系统

摘要

        驾驶员注意力不集中或者分心是道路交通事故的主要原因。 为了减少道路交通事故，设计开发驾驶员疲劳检测系统至关重要。 本研究利用人脸关键点检测方法提出了驾驶员睡意检测系统，目的是使驾驶更安全。 

一.人类检测方法

        人脸关键点检测是人脸识别任务中重要的基础环节，人脸关键点精确检测对众多科研和应用课题具有关键作用，如：表情识别、疲劳监测等。因此，如何获取高精度人脸关键点，一直以来都是计算机视觉、模式识别、图像处理等领域的热点研究问题。然而人脸关键点检测方法根据是否需要参数化模型可分为以下两类，基于参数化形状模型的方法和基于非参数形状模型的方法。目前，最为常用的是基于非参数形状模型的深度学习方法。

        2013 年，Face++在 DCNN 模型上进行改进，提出从粗到精的人脸关键点检测算法，实现了 68 个人脸关键点的高精度定位。该算法将人脸关键点分为内部关键点和轮廓关键点，内部关键点包含眉毛、眼睛、鼻子、嘴巴共计 51 个关键点，轮廓关键点包含 17 个关键点。针对内部关键点和外部关键点，该算法并行的采用两个级联的 CNN 进行关键点检测，网络结构如图所示：

        其中，Level-1 主要作用是获得面部器官的边界框;Level-2 的输出是 51 个关键点预测位置，这里起到一个粗定位作用，目的是为了给 Level-3 进行初始化;Level-3 会依据不同器官进行从粗到精的定位;Level-4 的输入是将 Level-3 的输出进行一定的旋转，最终将 51 个关键点的位置进行输出。针对外部 17 个关键点，仅采用两个层级的级联网络进行检测。Level-1 与内部关键点检测的作用一样，主要是获得轮廓的 bounding box;Level-2 直接预测 17 个关键点，没有从粗到精定位的过程，因为轮廓关键点的区域较大，若加上 Level-3 和 Level-4，会比较耗时间。最终面部 68 个关键点由两个级联 CNN 的输出进行叠加得到。

相关代码文章可参考：

Extensive Facial Landmark Localization with Coarse-to-fine Convolutional Network Cascade

二，应用：驾驶员疲劳检测

在阅读许多其它论文后发现，现在应用成熟最常用的是68个关键点检测。如下图所示：

关键点检测主要流程：
　　1. 调用dlib库来进行人脸识别，调用预测器“shape_predictor_68_face_landmarks.dat”进行68点标定。
　　2. 存入68个点坐标。
　　3. 利用 cv2.circle 来画68个点。
　　4. 利用 cv2.putText() 函数来画数字1-68。

本次实现的应用运用开源库Dlib训练好的模型“shape_predictor_68_face_landmarks.dat”进行68点标定，利用OpenCv进行图像化处理，在人脸上画出68个点，并标明序号。当检测到驾驶员的眼睛闭上4-5 秒时候，就会产生警报。

shape_predictor_68_face_landmarks.dat文件为训练好的保持文件，可直接调用。

本次驾驶员疲劳检测的主要实现界面如下：

 点击驾驶员困倦检测时，系统会自动打开电脑摄像头，你便可以模拟驾驶室的角色进行测试，当驾驶员在驾驶过程中闭眼，且超过5s系统会触发警报进行提醒。测试界面如下所示：

 

环境配置：python3.7、配置以下包 tensorflow>=1.12* keras==2.2.4 等。

全部代码下载链接：

https://download.csdn.net/download/weixin_40651515/87348333