MobySys 19
摘要
“双手放在方向盘上，眼睛在路上”是安全车辆驾驶实践的中心指南。许多先进的驾驶辅助系统可以有效地检测车辆的异常运动。然而，这些系统通常没有足够的时间让驾驶员对复杂的道路情况作出反应，尤其是当驾驶员分心时。为了减少事故，必须检测驾驶员是否实时遵守安全驾驶指南，并在发生任何危险操作之前提前发出警告。基于视觉的驾驶员注意力分散监控系统依赖于高端车辆中的摄像头，但其性能受到能见度要求的严格限制。在本文中，我们介绍了MagTrack，一种基于跟踪用户佩戴的磁性标签的驾驶员监控系统。使用单个智能手表和两个低成本磁性配件：手磁环和头部磁性眼镜夹，我们的系统使用分析和近似感应模型同时跟踪和分类驾驶员的双手和头部运动。我们的方法对驾驶员的姿势，车辆和环境变化都很有效。我们证明了我们的系统可以检测到各种各样的活动，包括双向转向，视觉和手动干扰以及车道变换和转弯。在拥有500多个驾驶活动实例的广泛道路测试和10个被测对象的500多分钟道路驾驶中，MagTrack在检测不安全驾驶活动时实现了87％的精确度和90％的召回率。
介绍
在美国，分心驾驶每天造成9人死亡，1,071人受伤，在国家公路交通安全管理局（NHTSA）调查的所有汽车碰撞中，94％的司机都有过错。 大多数这些错误是由于驾驶员未能遵守安全驾驶指南，包括手动干扰（例如，一只手离开车轮），视觉干扰（例如，偏离道路的眼睛），不安全转弯和车道变换（例如，未检查盲人） 现场）和不正确的转向技术（例如，单手转向，手动转向）。 如果实时自动检测到这些不安全的驾驶行为，我们可以防止许多事故。
不幸的是，现有的驾驶员活动监控技术有其局限性。一些先进的驾驶辅助系统可以有效地检测车辆的异常运动，然后警告驾驶员即将发生的碰撞，车道偏差和激进的转向。 然而，他们经常没有足够的时间让驾驶员对复杂的道路情况做出反应，尤其是当驾驶员分心时。 因此，在发生任何危险操作之前，必须尽早发现不安全的驾驶活动。
基于摄像头的系统可以检测视觉干扰和昏昏欲睡的驾驶，它们已经开发并部署在高端车辆，但它们受到能见度要求的限制，并且无法监控手部异常动作，包括手动分心或积极的转向。 可穿戴技术有曾被用来监控驾驶活动。 例如，之前的研究使用常见于智能手表上的惯性测量单元（IMU）来检测不稳定的方向盘运动和手动干扰，但这些解决方案仅限于检测佩戴智能手表的手。 因此，开发可靠，强大，低成本的技术监控各种驾驶员活动是有必要的。
在本文中，我们介绍了Magtrack，一种采用新颖，不同方法的驾驶监控系统。 由于小而廉价的永磁体在没有任何功耗的情况下产生它们自己的持久磁场，因此它们可以简单地用作主动跟踪标签范围。 因此，我们将现成的磁铁嵌入各种用户友好型中配件，如纽扣，戒指，手套，腕带，头带，眼镜，耳机，耳夹等。如果配戴这些配件用户可以提供传达丰富信息的磁信号的动作。 由于驾驶活动包括协调的手部和头部运动，我们使用两个可穿戴设备，手上佩戴的磁环和一个磁性的眼镜夹。
为了跟踪这些标签，驾驶员在手的背面佩戴智能手表以测量磁场，并基于驾驶活动模型识别三维的手和头部运动。 以前关于磁标签跟踪的研究通常使用两个或更多个磁力计来跟踪每个目标。 原因是单个磁性标签具有六个运动自由度，并且需要两个三轴磁力计来唯一地识别其位置和方向。 用一个磁力计跟踪两个目标非常具有挑战性。 为了解决这个问题，我们确定最安全的驾驶活动包括协调和确定的手和头部运动。 因此，每个标签都有其特定的运动模式和约束，这为我们提供了一个独特的机会，可以区分两个磁铁标签生成的信号，甚至跟踪它们的并发运动。 基于这些观察，我们开发运动模型和跟踪算法，以识别不同的驾驶活动。
我们使用不同的驾驶员，不同类型的汽车，在不同的道路条件下验证了我们的传感和活动识别算法。 特别是，我们证明了我们的解决方案能够适应手势变化和几何磁场变化在路试中。 此外，通过分析与不安全驾驶行为相关的可能动作，我们设计了实时监控算法来检测 i）手动和视觉分散注意力，当驾驶员用手离开方向盘或花费太多时间用眼睛离开路面时; ii）不正确的转向控制，何时司机突然或不正确的转向动作; iii）当驾驶员无法执行时，不安全的换道和转弯在转向时检查盲点并打开转向信号。 MagTrack可以让很多人受益，包括夜晚通勤者，长途司机，新手司机和司机注意力缺陷和多动障碍（ADHD)。
刚体运动的自由度：链接
这项工作的贡献如下：
- 我们建立了一个驾驶员监控系统，可以实时可靠地监控驾驶员的双手和头部运动。 我们的系统可检测各种不安全驾驶活动，包括手动和视觉干扰，不安全转弯和车道变换以及不正确的转向控制。 它可以抵御不同类型的车辆和环境设置。
- 为了在狭小空间内实现细粒度跟踪，我们使用无电池的现成磁铁为驾驶员设计用户友好的磁性配件。 这些主动式可穿戴标签提供额外的信号，可传达有关驾驶员姿势和动作的丰富位置和运动信息.
- 我们设计了一种新颖的传感算法，通过驾驶员智能手表上的单个磁力计跟踪驾驶员的磁性可穿戴设备。 由于每个可穿戴设备都有其独特的运动模式和约束，我们的算法能够区分从两个标签生成的信号，甚至跟踪它们的并发运动。 基于跟踪结果，我们进一步开发了基于机器学习的算法来检测不同的驾驶活动。 我们的方法可以超越驱动程序监控应用程序。
- 在广泛的道路测试中，有超过500个实例的不同驾驶活动，以及来自10个科目的500多分钟的驾驶时间，MagTrack在不安全的驾驶活动检测中成功实现了87％的精度和90％的召回率。
概述
安全驾驶依从性问题
驾驶活动需要协调的手和头部动作，因为司机需要评估周围环境和相应地控制车辆。驾驶员的安全驾驶指南手册定义了正确的动作（例如，位置，时间和顺序）。遵守这些指南可以最大限度地降低驾驶风险。但是，许多司机不遵守这些规则，特别是当他们分心或疲惫时。在这里，我们定义一些最常见的不安全驾驶行为：（i）手动分心：驾驶员可以从方向盘上取下其他活动如打电话或吃饭; （ii）视觉分心：司机把目光从路上移开，转向风景或广告标志，甚至与乘客聊天。 （iii）不正确的转向控制：驾驶员将方向盘固定在错误的位置，或使用不正确或侵略性的方式转向车轮; （iv）不安全的车道变换/转弯：驾驶员在转向车道或转弯之前未能转头检查盲点和侧镜（或交叉路口其他方向的交通）。
我们可以看到，这些实践归结为几种基本类型的手势和头部手势的组合。 基本的驾驶手势包括保持和转向运动。 抱着车轮需要司机将双手放在方向盘上正确的立场。 双手离开车轮的时间太长了增加安全风险。 转向运动涉及协调转动方向盘的双手动作。 头部的姿势包括向左，向右，向下转动一个角度。要监控驾驶活动，必须捕捉所有这些手和头的手势.
系统设计概述
系统架构图由三层组成：
- 磁性可穿戴配件。MagTrack 使用它们跟踪司机身体的不同部分。我们将一个尺寸为5厘米×2.5厘米×1.25厘米的块状磁铁安装在驾驶员手指上，并将一个高度为11厘米，半径为4毫米的圆柱形磁铁安装在驾驶员左侧太阳穴的一副眼镜上。 可以定制具有不同形状因数和类型的磁性可穿戴设备，例如按钮，戒指，手套，腕带，头带，眼镜，耳机，耳夹等。
- 智能手表。 为了监控驾驶活动，我们将智能手表放在与磁铁相对的手上。 我们的方法的主要挑战是在智能手表上使用单个磁力计来跟踪两个磁性可穿戴设备。 我们通过开发一种新颖的传感算法来区分这两个磁体产生的磁信号并同时跟踪它们来应对这一挑战。
- 安全驾驶应用。 这些应用程序识别不同的驾驶活动，并在发现违反安全驾驶指南的情况下向驾驶员发出警告。 可以基于驾驶员的驾驶习惯（例如驾驶姿势）来配置这些应用程序。 如果有这样的信息，他们还可以考虑其他因素，如交通和道路状况.
手部和头部跟踪
在本节中，我们将重点关注监测运动磁性标签贴在驾驶员的手和头上，使用智能手表磁力仪。 当司机的手握着方向盘，它们的运动被限制在一个圆圈内。同样，驾驶员的头部受到汽车座椅配置的限制。 我们为这些手和头部运动构建运动和感知模型。 基于这些模型，我们设计了一种同步跟踪和分类（STC）算法来跟踪磁性标签。 STC框架由一组并行运行的卡尔曼滤波器组成，可跟踪不同的磁性标签和运动类型，包括手动转向运动，转向运动以及并发的手和头部运动。 STC算法首先识别最可能的运动类型（手，头或并发运动），然后估计相应的运动轨迹。
3D旋转。在传感模型的开发中，矢量的三维旋转运算得到了广泛的应用。绕着轴A旋转beta角度的3D旋转可以使用一个矩阵R(A,beta)表示
手操控运动模型
在本小节中，我们将介绍如何使用卡尔曼滤波模型跟踪方向盘上的右手运动。 一个卡尔曼滤波器包括状态转换模型和测量模型。 状态转换模型包含状态变量向量，它描述了右手的位置和姿势，以及一种状态转换矩阵，它描述了状态变量向量随着时间的推移而演变。 然后我们介绍测量模型，它描述了右手位置和姿势如何影响传感器测量。 基于以上模型，我们能够使用Unscented卡尔曼滤波器跟踪右手运动。
卡尔曼滤波器
状态转换模型。我们使用θ1来表示用户的右手握持位置。 如图2所示，θ1是手与方向盘3点钟位置之间的角度。我们用θ2表示用户的手势，描述驾驶员如何握住方向盘。 如图2所示，驾驶员的手可以绕方向盘管旋转角度θ2。 当磁性标签的北极方向位于方向盘平面上并指向离心方向时，我们将θ2设置为零。
我们还将变化率θÛ1和θÛ2包含在状态变量向量中。 好处是跟踪器可以更快地响应系统变量。 根据定义，对于时间步长k，对于i = 1,2，我们具有θi（k）=θi（k-1）+ΔT*θÛi（k-1），其中ΔT表示两个步长之间的时间间隔。 将它们写成矩阵形式，我们有Xs（k）= Fs·Xs（k-1），其中状态变量向量Xs（k）和状态转移矩阵Fs在以下等式中定义：
测量模型 接下来，我们构建手动转向运动的测量模型。 我们的目标是找到手持位置和姿势（由θ1和θ2表示）与智能手表上的磁场测量值之间的解析函数关系。手磁标签的磁场由其相对于传感器的位置a_t和磁矩m确定，磁矩m是描述偶极子强度和方向的矢量。 在下文中，我们分析了θ1，θ2的变化如何影响a_t和m的值。 当获得这两个时，我们使用标准场分布函数计算估计的磁场。
如图2所示，我们使用 r 来表示方向盘的半径，以及 t 为方向盘的倾斜角度。 车辆坐标系Xv-Yv-Zv定义如下：Zv垂直向上指向; Yv水平指向前方; Xv垂直于Yv和Zv，并指向右侧。
[手磁标签的位置] 我们将从磁性标签到手表传感器的矢量分解成三个部分：
a_w，图2中的橙色矢量，是驾驶员握住方向盘时从方向盘中心到智能手表磁力计的矢量。 手表的位置取决于驾驶员的手持位置和个人保持习惯。我们在校准过程中计算出a_w的估计值。 在本节中，我们考虑驾驶员的左手握住方向盘而不移动的情况。 在第5节中，我们将提供检测驾驶员左手运动的算法。
矢量a_c是图2中的蓝色矢量.a_c的值由保持位置θ1确定。 当θ1改变时，a_c可以看作是围绕方向盘旋转轴Aw旋转的矢量，具有倾斜角度t。我们推导出表达式通过从其初始位置旋转来实现. r 是方向盘的半径。
接下来，我们分析等式3中的a_f，如紫色矢量所示在图2中，驾驶员手指的厚度和磁性标签的形状决定a_f的长度，用l表示。 直观地，a_f可以被视为围绕轴A_2旋转角度θ2的矢量。A_2是垂直于a_c和A_w的单位向量，因此我们可以使用A_w和a_c之间的叉积来计算A_2的值。
最后，我们可以使用a_c，a_f和a_w来计算磁性标签的相对位置a_t。
[手磁标签的方向]
磁场估计 根据a_t和m，我们可以计算出磁场强度B:
永久磁铁的磁场
为了校准右手跟踪算法，我们需要知道图2中的三个参数r，t和a_w。可以直接测量这些参数，但我们发现采用最大似然参数估计（MLPE）方法更容易。 MLPE可以搜索最可能的参数，使得由传感模型计算的磁场与测量值最佳匹配。 具体地说，驾驶员需要用右手握住方向盘，不同的位置θ1和姿势θ2。 系统记录磁传感器测量结果以及θ1，θ2的真实值。 然后我们使用MLPE来估计r，t和a_w的值，使得模型预测最接近实际的磁传感器测量值。
头部运动模型
接下来，我们介绍用于头部运动监测的卡尔曼滤波模型。 如前所述，我们将磁铁连接到驾驶员身上眼镜并使用智能手表磁力计检测其运动。 主要的挑战是磁力计距离标签的距离很远导致低信噪比，因为磁力计的磁场强度相对较弱。因此，很难构建精确的分析测量头部磁性标签的模型。 为了应对这一挑战，我们首先要做将头部动作分为三种类型：左转，右转和点头，然后构建一个单独的卡尔曼滤波器来跟踪它们中的每一个。通过这种方式，我们可以降低每个方向跟踪头部转弯的复杂性，使得近似线性测量模型可以使用。 我们首先提出卡尔曼滤波器，用KFl表示，其中跟踪左头转动，在公式8中。卡尔曼滤波器其他方向的设计类似。
卡尔曼滤波器KF1由状态转移模型和测量模型组成。 状态变量X1（k）包含左头转角，范围从0°到90°。 当驾驶员面向前方时，我们设置为零。 为了便于跟踪，我们进一步将头部角度变化率包括在状态变量中。我们使用线性近似技术为左转头创建测量模型。 当司机的头向左转，3D磁场测量即可作为左头转角的函数。 不是找到这个函数的确切表达式，我们使用线性近似，即，B_l≈a_0+a_1γ1。 在校准过程中估算了a0和a1的值，这将在本小节末尾进行描述。
在定义卡尔曼滤波模型KF1之后，我们可以使用经典线性卡尔曼滤波器来估计左转弯角度。我们在图5的中间行绘制跟踪结果。使用用于构造左头转向卡尔曼滤波器KF1的相同技术，我们还可以构造用于右头转弯和向下转弯的卡尔曼滤波器，其由KFr，KFd表示。
要校准头部跟踪算法，我们需要知道公式中的aa0和®a1的值。在校准期间，司机将头向左，向右和向下转动一次，并记录传感器测量结果，用[B1，B2，...，Bn]表示。 通过计算驾驶员面向前并且头部角度为零的前几秒的测量值B的平均值来估计a_0。 然后，我们使用标准线性回归技术来估计a_1的值。
同步跟踪和分类
并发运动建模。 在某些情况下，司机会在同一时间移动他们的手和头。 例如，在转向时在十字路口，司机也可以转头检查行人。 直观地，当两个磁性标签同时移动时，对传感器测量的影响是每个标签的影响的叠加。 我们使用单独的卡尔曼滤波器来监控并发转向和头部转向运动，即，驾驶员在用右手转向方向盘时向左或向右转动头部。 我们将测量模型定义为手和头部运动的测量模型的总和。下面示出了用于并发转向和头左转运动的卡尔曼滤波器。
其中Hs（θ1，θ2）和H1（γ1）是手的测量模型和头转向的测量模型。 为减少错误检测同时运动的疑惑，我们添加了θ1大于γ1的约束。这样，用于并发运动的卡尔曼滤波器KF_sl变为仅当两个磁性标签都有大的运动时才有效。 在另一方面，如果只有一个磁性标签在移动，则单独的卡尔曼将选择过滤器KF_s或KF_l。
同步跟踪和分类
使用卡尔曼滤波模型，KF_i，其中i = s，l，r，d，sl，sr，对应于右手转向，左转弯，右转弯，头向下转弯，同时转向和左转弯，以及 可以实时识别和跟踪并发转向和右转弯，手和头部运动。 基于这些并行卡尔曼滤波器的跟踪结果，STC框架可以使用贝叶斯规则选择最可能的运动类型。 算法1中描述了STC。 算法的输入是时间窗内的磁传感器测量，由{B(1)，B(2)，...，B(W)}表示。 算法输出是最可能的运动类型c，而且相应的跟踪结果{Xc(1)，Xc(2)，...，Xc(W)}。
给定传感器测量B(k)，该算法运行所有6个并行卡尔曼滤波器，如第3行所示。第4和5行代表卡尔曼滤波器的预测和更新步骤，其估计运动类i的状态变量Xi(k)。 我们使用Unscented卡尔曼滤波器进行手动转向和并发运动跟踪，以及使用经典线性卡尔曼滤波器用于头部转弯运动监控。为了计算误差协方差矩阵，我们使用Unscented和经典卡尔曼滤波器中的标准方法。在第6行中，计算了拟合后测量残差δi(k)，它是地面实况测量B(k)与拟合后测量估计之间的差值。H(Xi(k))。我们假设传感器测量包含白噪声V~N(0，σ2)，其中σ2是方差。因此，我们可以使用第7行中描述的高斯分布方程计算条件概率P(B(k)| i)。然后我们计算表示运动类可能性的后验概率P(i | B(k)）我使用第8行中描述的贝叶斯原理给出了测量B(k).P(j)是每个运动类的先验概率。然后我们将概率P(i | B(k)）归一化。通过将P(i | B(k)）与阈值T进行比较来进行显着性检验，以确保对运动概率的充分置信度。我们最终在时间窗口W内选择最可能的运动类别c，使得P(c | B(k)）在大多数时间步长中具有大于T的值。将返回运动类c和相应的跟踪结果{Xc(1)，Xc(2)，...，Xc(W)}。