数据开源 | Magic Data开源DMS驾驶员行为数据集

由于近几年人工智能、芯片技术的发展，自动驾驶被资本市场越炒越热。目前大部分车企正在朝着完全自动驾驶努力，大部分已经落地的无人驾驶技术仍然是L2与L3级。同时，汽车行业也逐渐在汽车上集成了辅助自动驾驶和智能助手等功能，让驾驶变得更加轻松快捷，使人们将从枯燥的驾驶操作和乘车体验中解脱出来，让汽车座舱成为人们驾驶、休息、娱乐、工作的地方。

其中，汽车座舱的智能视觉监控系统 In-cabin Monitoring System 简称（IMS）是智能座舱中必不可少的功能。

智能视觉监控系统  In-cabin Monitoring System

汽车座舱智能视觉监控系统（IMS）包含驾驶员监控系统（DMS）、乘客监测系统（OMS），手势识别、体征监测、远程监控等功能。其中DMS和OMS即将成为智能座舱系统的必备功能，欧盟新车安全评鉴协会（Euro NCAP）此前发布未来智能汽车发展路线图：欧洲市场的新车必须在2022年7月开始配备驾驶员监测系统（DMS）；从2022年开始搭载乘员监控系统(OMS)，尤其是儿童检测的新车，将得到额外的系统安全评级分数。此外2024年起进入标配行列。

这一规定使得DMS和OMS一下子成为近几年智能汽车的万金油。

DMS 的核心功能包括疲劳监测 （打哈欠、闭眼次数和时长等）、危险行为监测（吃东西、打电话、抽烟、和后座聊天等）、驾驶员是否丧失行为能力、注意力、视野范围监测、人脸识别包括身份识别、情感识别、特征识别、其他如事故、救援等。这些功能的核心诉求就是保证驾驶员的安全驾驶。

OMS是通过智能座舱对车内乘客的感知与识别乘客的行为是否安全。其中包括安全带警示功能、判断车内乘客是否已经安全坐好，是否有儿童或宠物单独遗留，乘客是否系安全带等。OMS是从监控乘客的角度来进一步提升乘坐汽车的安全性能。

下图是Euro NCAP发布的欧盟五星安全认证车辆需要具备的DMS和OMS功能的要求：

DMS/OMS 核心技术

DMS和OMS系统包括摄像头、芯片传感器、深度学习识别算法以及车载信息娱乐系统。

智能座舱系统一般通过摄像头采集驾驶员的面部表情、精神状态、行为举止上传到图像信息处理器，在图像信息处理器中对采集的视频进行解码。通过深度学习算法的分析。得到目前驾驶员的状态，一般深度学习算法都是集成于芯片系统，之后将分析的结果通过车载信息系统进行展示给驾驶员或者乘客。一般展示方式包括通过音频、图像、文字在仪表、中控屏、扬声器等方式，也有通过安全带震动（体感）、气味（嗅觉）与用户进行信息传递。

DMS和OMS中分析驾驶员或者乘客的精神状态的核心算法一般是深度学习视觉检测算法。其流程图如下所示：

Magic Data 数据开源 DMS 驾驶员行为数据集

作为DMS和OMS核心算法—深度学习人脸检测，需要大量实景数据训练，由于车载环境的特殊性，普通的图像识别的数据无法完全满足车载环境的算法的训练，因此需要专业的团队收集、清洗、整理、标注车载环境的CV数据以作为训练DMS/OMS的核心分析算法的数据。

近日，Magic Data首次发布开源DMS驾驶员行为数据集。DMS_MD数据集针对性采集了19+种驾驶员的典型危险交互行为，分别标注了人脸区域、人头区域及交互物品区域。在驾驶员躯体遮挡安全带的情况，也针对安全带区域特别做了标注；同时，面向疫情背景下的驾驶员面部遮挡场景，针对性采集了面部遮挡下驾驶员的行为数据，特别是疲劳驾驶数据。DMS_MD数据集采用单帧和连续帧结合的标注方式，是DMS领域目标检测和行为检测的高价值数据产品，也是DMS算法落地的试金石和加速器。数据详情如下：

数据下载  

Driver Behaviors Dataset for DMS - MagicHub

更多开源数据欢迎访问 MagicHub 开源社区

MagicHub - Datasets Download | Open-Source Datasets

Magic Data 荣获 盖世汽车 - 智能座舱优质供应商

作为全球领先AI数据解决方案，Magic Data致力于为业界提供全领域一站式的AI数据产品，数据类型涵盖语音、文本、图像、音视频多模态。

凭借过硬的产品技术、良好的市场反响以及企业的综合发展潜力，Magic Data在12月6日盖世汽车举办的「2022智能座舱优质供应商」证书授予仪式中，成为DMS/OMS细分领域的「智能座舱DMS与OMS优质供应商」，并成功被盖世汽车收入「2022盖世汽车优质供应商推荐名录」。