夜间环境人脸识别_基于人脸识别的夜间疲劳驾驶判断方法与流程

本发明属于智能识别设有领域，尤其是一种基于人脸识别的夜间疲劳驾驶判断方法。

背景技术：

出租车和网约车在夜间运营极大的方便了人们的出行需求，但是出租车司机为了增加收入常常延长工作时间特别在夜间行驶的时候容易疲劳驾驶，疲劳驾驶极易发生道路交通事故，因此对司机和乘客的安全造成极大的威胁。

技术实现要素：

发明目的：提供一种网约车人脸识别系统及控制方法，以解决现有技术存在的上述问题。

技术方案：基于人脸识别的夜间疲劳驾驶判断方法，应用在网约车或出租车上，包括以下工作步骤：

s1，司机在行驶前调整面部识别摄像机位置，使司机面部正对摄像头拍摄区域；

s2，基于摄像头拍摄的画面，构建三维空间内人脸检测特征区对应坐标；

s3，摄像头开始拍摄提取面部待测特征区，并构建待测特征区正常适应阀值面积，并将阀值面积存入特征区数据库，并根据录入的阀值面积进行面部状态进行分类；

s4，根据单位时间内录入的人脸阀值面积值，将识别驾驶员此时的驾车状态分为正常驾驶、以及疲劳驾驶两个分类；

s5，人脸检测特征区视频跟踪，当待测检测特征区的阀值面积10秒内三次以上小于正常适应阀值面积时，根据定性的分类，语音提示司机注意当前行车状态；

s6，经过红绿灯、转弯、事故多发路段等，语音提示司机注意前后方来车或注意红绿灯信息。

在进一步的实施例中，所述面部识别摄像机安装在汽车前车窗的驾驶座的正上方，所述面部识别摄像机设有360°麦克风阵列和方向传感器。

在进一步的实施例中，所述s1中面部识别摄像机中采用kinect设备，能够同时捕获分别率1920*1080的rgb图像和分别率为512*424深度图像，摄像头的边缘设有红外光线补光器，所述rgb颜色模型可转化为hsv颜色模型进行颜色分割，满足三维空间内人脸肤色的精确取点。

在进一步的实施例中，所述s2前面部识别摄像机对司机进行身份验证，检测驾驶员是否具有网约车司机。

在进一步的实施例中，所述检测特征区为人脸面部器官，并采用camshift跟踪算法对检测特征区内的面部器官进行形态约束和运动约束，并用滤波器进行快速计算人脸各器官的变化阀值；所述camshift跟踪算法根据面部器官的凹凸程度建立坐标系，并自动对人脸各器官正常状态下进行预存，标记正常适应阀值面积参考值。

在进一步的实施例中，所述面部器官为眼部和鼻部，以鼻尖为坐标系原点，从鼻尖到上眼睑的间选取1条参考线；并记录正常行驶状态和疲劳行驶状态下的参考线l1与鼻尖点的夹角1和2，参考线l1和鼻尖的夹角小于1时属于正常行驶状态；当参考线l110秒内多次停留在疲劳行驶状态下1至2之间，判定此时为疲劳驾驶，进入语音提醒模块。

在进一步的实施例中，所述从鼻尖到瞳孔之间取一参考线l与鼻尖点的夹角为，的变化值分为直视1、左视2、右视3三个视线变化值，初步判定司机视线处在左视，正视和右视状态下；所述s6中语音提示后司机未按照规定转换视线仍会被标记为疲劳驾驶。

有益效果：本发明相对于现有技术具有以下优点：

1.基于面部识别技术识别人脸图像，夜间光照复杂条件下对司机身份进行辨认避免无资质网约车司机载客的情况。

2.在夜间行车过程中通过camshift跟踪算法对司机的面部表情进行跟踪分析判断司机的眼部状态从而判断是否处于疲劳，注意力不集中的驾驶状态，并通过语音模块提醒司机。

3.本发明通过面部识别避免无资质司机载客问题减轻交警负担同时能够对疲劳驾驶起到及时的预警作用。

附图说明

图1为本发明基于人脸识别的夜间疲劳驾驶判断方法网络结构示意图。

图2为本发明检测特征区坐标角度偏离示意图。

具体实施方式

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

基于人脸识别的夜间疲劳驾驶判断方法，应用在网约车或出租车上，其特征在于，包括以下工作步骤：

步骤一，司机在行驶前调整面部识别摄像机位置，使司机面部正对摄像头拍摄区域；

步骤二，基于摄像头拍摄的画面，构建三维空间内人脸检测特征区对应坐标；

步骤三，摄像头开始拍摄提取面部待测特征区，并构建待测特征区正常适应阀值面积，并将阀值面积存入特征区数据库，并根据录入的阀值面积进行面部状态进行分类；

步骤四，根据单位时间内录入的人脸阀值面积值，将识别驾驶员此时的驾车状态分为正常驾驶、以及疲劳驾驶两个分类；

步骤五，人脸检测特征区视频跟踪，当待测检测特征区的阀值面积10秒内三次以上小于正常适应阀值面积时，根据定性的分类，语音提示司机注意当前行车状态；

步骤六，经过红绿灯、转弯、事故多发路段等，语音提示司机注意前后方来车或注意红绿灯信息。

如图1在步骤一种所述面部识别摄像机安装在汽车前车窗的驾驶座的正上方，所述面部识别摄像机设有360°麦克风阵列和方向传感器。所述s1中面部识别摄像机中采用kinect设备，能够同时捕获分别率1920*1080的rgb图像和分别率为512*424深度图像，摄像头的边缘设有红外光线补光器，所述rgb颜色模型可转化为hsv颜色模型进行颜色分割，满足三维空间内人脸肤色的精确取点。

在步骤二中前面部识别摄像机对司机进行身份验证，身份验证采用adaboost算法检测驾驶员是否具有网约车司机。通过网约车云端服务器存储司机多个角度的照片建立人脸特征分类器，在hsv空间利用阈值方法首先提取候选人脸区域，获取人脸特征的候选区域，使用kinect采集场景的深度信息，完成人脸区域的定位。采用一种曲率分析技术，对于每个深度信息点有两个曲率可以计算；最大曲率和最小曲率由1()和2()得到的。计算公式为：

=tan-1(1()+2())/(1()-2())公式1；根据公式1得到特征区曲率信息，然后在从云端服务器查询比较获取司机面部信息。

身份验证完成后，将视频中的人脸进行帧融合，采用多帧融合的算法获取面部的实时信息，采用kinect设备实现简单，速度快的像素灰度值取大法。眼部信息有3帧数据1、2、3。取对应点像素值较大的像素作为综合后的数据。则综合后的数据三帧数据融合的结果max={1(,),2(,)}。综合得到数据123。

所述检测特征区为人脸面部器官，并采用camshift跟踪算法对检测特征区内的面部器官进行形态约束和运动约束，并用滤波器进行快速计算人脸各器官的变化阀值；所述camshift跟踪算法根据面部器官的凹凸程度建立坐标系，并自动对人脸各器官正常状态下进行预存，标记正常适应阀值面积参考值。

如图2所示所述面部器官为眼部和鼻部，以鼻尖为坐标系原点，从鼻尖到上眼睑的间选取1条参考线；并记录正常行驶状态和疲劳行驶状态下的参考线l1与鼻尖点的夹角1和2，参考线l1和鼻尖的夹角小于1时属于正常行驶状态；当参考线l110秒内多次停留在疲劳行驶状态下1至2之间，判定此时为疲劳驾驶，进入语音提醒模块，通过360°麦克风阵列发出语音播报提醒司机集中注意力，同时也提醒乘客注意司机目前的开车状态。

所述从鼻尖到瞳孔之间取一参考线l与鼻尖点的夹角为，的变化值分为直视1、左视2、右视3三个视线变化值，初步判定司机视线处在左视，正视和右视状态下；所述s6中语音提示后红绿灯或者转弯司机未按照规定转换视线仍会被标记为疲劳驾驶。

本发明基于面部识别技术识别人脸图像，夜间光照复杂条件下对司机身份进行辨认避免无资质网约车司机载客的情况。在夜间行车过程中通过camshift跟踪算法对司机的面部表情进行跟踪分析判断司机的眼部状态和视线从而判断是否处于疲劳，注意力不集中的驾驶状态，并通过语音模块提醒司机集中注意力，减少事故发生的可能性。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。