Fed-SCNN: A Federated Shallow-CNN Recognition Framework for Distracted Driving

Fed-SCNN：用于分散驾驶的联合浅层CNN识别框架 （IF：1.968）

摘要：

虽然分心驾驶识别对交通安全具有重要意义，但出于隐私保护的考虑，驾驶员不愿意向机器学习提供自己的个性化驾驶数据。如何在保证隐私保护的基础上提高分心驾驶识别的准确性?为了解决这个问题，我们提出了联邦浅cnn识别框架(federal - scnn)。首先，在用户端通过DNN和shallow-CNN建立混合模型，对车载图像数据进行识别，并将加密后的参数上传到云端;其次，云服务器通过DNN对主要参数进行联邦学习，构建全局云模型。最后，在用户端更新+e DNN，进一步优化混合模型。+e以上三步循环迭代局部混合模型。+e FedSCNN框架是一个动态学习过程，解决了数据隔离和隐私保护两大问题。与现有的机器学习方法相比，Fed-SCNN在准确性、安全性、效率等方面具有很大的优势，在安全驾驶领域具有重要的应用价值。

1、介绍

随着经济的快速发展，交通事故的发生频率逐年增加。分心驾驶是交通事故的主要原因之一。基于分神驾驶的车辆识别是一个亟待解决的问题。分心驾驶是指开车时做其他活动，分散你的注意力，如编辑短信和打电话，严重威胁交通安全。根据美国国家公路交通安全管理局(NHTSA)的数据，美国近30%的交通事故与驾驶分心有关。由于汽车的速度很快，当司机在行驶中编辑微信时，他的视线会离开道路约4秒，以60英里/小时的速度几乎覆盖整个足球场。

随着机器学习(ML)研究的深入，以SVM[3,4]、AdaBoost[5]、贝叶斯网络[6,7]为代表的分类算法被广泛应用于分心驾驶领域，其核心是提取潜在关联特征来识别分心驾驶。虽然仿真实验取得了较好的效果，但受到各种条件的限制，实际效果较差[8]。+因此，对分心驾驶的识别仍面临两大挑战[9]:（1）驾驶行为数据涉及个人隐私问题，往往以孤岛的形式存在，大量数据所有者不愿共享

（2）用户每天产生的大量数据受到移动驾驶环境的限制，导致交互性差，数据通信受阻。

基于以上两个挑战，在实际应用中，分心驾驶识别无法获得大量用户的数据，严重制约了本研究的发展。随着欧盟《通用数据保护tion条例》(GDPR)[10]的颁布，传统的私人数据共享方式被禁止，大量孤立的数据无法充分享受大数据和云计算带来的diviHindawi Security and Communication Networks Volume 2020, Article ID 6626471, 10 page https://doi.org/10.1155/2020/6626471 ddes，造成了极大的资源浪费。幸运的是，谷歌提出了一种新的分布式ML框架联邦学习(FL)[11]，它不仅满足了隐私保护的需求，而且充分参与了大规模机器学习。此后，许多研究机构也开始研究FL[12-14]，特别是在金融、医疗、广告等领域，取得了许多令人印象深刻的成果。

在此基础上，提出了一种用于分心驾驶的联邦浅cnn[15]识别框架(federal - scnn)。首先，在用户端通过深度神经网络(DNN)[16]和浅神经网络(shallow-CNN)建立混合模型，对车载图像数据进行识别，并将加密后的参数上传到云端;其次，云服务器通过DNN对主要参数进行FL，建立全局模型。最后，在用户端对DNN进行更新，进一步优化混合模型。+e以上三步循环迭代局部混合模型。Fed-SCNN不仅可以保护个人隐私，有效解决数据孤岛问题，而且具有较高的识别精度，在安全驾驶领域具有重要的应用价值，为分神驾驶提供了新的思路。本文提出的+e框架是一个动态的学习过程，不仅在保护隐私的基础上不断增强对分心驾驶的识别能力，还可以支持用户加入友好，具有较好的可扩展性。

2、相关工作

2.1. 联邦学习概述

联邦学习是ML的新兴技术，由谷歌在2016年首次提出。+e的关键思想是在[12]过程中保护用户数据。作为一种分布式机器学习方法，它支持在大语料库分布式数据上进行模型训练。+e训练过程是通过训练参数的组合来拟合全局最优统计模型，可以表示为最小化以下目标函数:

式中m为设备总数，pk≥0,pk之和为1;Fk(.)为第k个设备的目标函数。局部目标函数通常定义为与局部数据相关的经验风险，即交叉熵。联邦学习有望成为下一代协同计算的基础。联邦学习出现以来，基于FL的各种研究已经出现，如隐私保护ML[17]、联邦多任务学习[18]、个性化联邦学习[19]等。以包含两个数据所有者(企业A和企业B)的场景为例，介绍联邦学习的架构。具体架构原理如图1所示。

图1:垂直联邦学习架构[13]的示例。

 联邦学习的优点是隐私数据永远不会离开本地，满足了用户隐私保护的需求。同时，它可以利用大数据有效解决数据孤岛问题，这保证了联邦模型在机器识别中优于孤立模型。Yang et al.[13]根据用户数据维度的分布，将联邦学习分为三个类别:水平联邦学习(HFL)、垂直联邦学习(VFL)和联邦迁移学习(FTL)。联邦- scnn属于联邦迁移学习范畴。这是首款为分心驾驶量身定制的汽车。

2.2. 识别分心驾驶

Rao等人将分心驾驶定义为驾驶员将注意力转移到与驾驶任务无关的活动上，导致驾驶员视力、意识、决策和操作能力下降的危险行为[20]。分心驾驶对正常驾驶产生了严重的负面影响，导致每年发生大量恶性交通事故。以下是三种主要类型的分心:

视觉:视线离开道路
手动:将你的手从方向盘上拿开
认知:把你的注意力从驾驶上转移开

 许多专家学者对分心驾驶的识别进行了大量的研究。Yang等[22]利用车载GPS采集的车辆运动参数，建立高斯混合模型(GMM)来识别驾驶员是否分心。Jin等[23]通过CAN采集车辆行驶状态数据，通过SVM建立识别模型;Tango和Botta收集了驾驶室中详细的运行动态参数，并使用各种机器学习方法来识别分心驾驶;Liang和Lee[24]发现分心驾驶具有高度的时间依赖性，提出了动态贝叶斯网络认知分心检测模型。Wollmer等[25]提出了一种在线驾驶员注意力分散检测模型，该模型利用长短期记忆神经网络(LSTM-NN)检测驾驶员注意力分散状态。

但这些研究都是基于有限驾驶条件或模拟驾驶环境下采集的数据，存在一定的局限性。更严重的是，目前的研究主要考虑的是分心驾驶识别的准确性和效率，而忽视了隐私保护，尤其是将个人隐私上传到云端，这也带来了严重的安全风险[26]。例如，存储在云中的私有数据可能会被云提供商和其他云客户端窃取。因此，本文以智能移动驾驶为研究背景，充分考虑实际通信能力。旨在通过联邦学习解决云环境下的个人隐私保护问题。同时，用户端采用浅混合模型来识别驾驶员是否分心，从而给出安全通信网络。

3、Fed-SCNN的提议框架

3.1. Fed-SCNN总体设计

针对分心驾驶识别面临的两大挑战，提出了一种联邦浅cnn分心驾驶识别框架(federal - scnn)。+e提出的框架主要包括两种机器学习技术:联邦学习和浅cnn (SCNN)。+e算法主要利用分布式数据，通过DNN建立全局统计模型，提高识别精度，同时上传同态加密条件下的主要参数。卷积神经网络(Convolutional neural network, CNN)[27]具有图像特征提取的优势，负责提取用户侧的差异化特征，即局部模型的个性化。为了考虑loT的硬件水平，我们决定使用SCNN来满足当前驾驶室的需求，这样可以提高识别效率。+e总体框架设计如图2所示，简单表达了Fed-SCNN的流程。

图2:Fed-SCNN总体框架设计

 在驾驶过程中，使用内置高清摄像头探头获取的驾驶员作为主体对象的RGB图像作为混合模型的输入。同时，假设车联网可以与云正常通信。Fed-SCNN的框架是一个动态过程，其核心可归纳为五个步骤:

(1)本地用户通过本地DNN和SCNN独立执行识别学习任务

(2)将本地DNN模型参数同态加密传输到云端

(3)通过联邦学习在云中建立全局云模型

(4)根据本地用户要求更新本地DNN参数

(5)将局部DNN与SCNN的全连接层进行融合，调整参数后建立最终的混合模型

以上是对Fed-SCNN用于分心驾驶的简单介绍。根据实际需要，可以考虑定期更新DNN模型的参数，如每晚更新一次主要参数。运算过程如算法1所示。

算法1:Fed-SCNN中的处理算法

 3.2. 联邦模型

受Rao et al.[20]研究的启发，本文也对基于驾驶行为图像的分心驾驶识别进行了研究。但目前的研究主要考虑识别的准确性，不注重隐私保护，尤其是将个人隐私上传到云端，带来了严重的安全问题。因此，联邦- scnn框架通过联邦学习对加密模型进行训练和共享。关键实体主要分为云和大量的用户端。主要参数信息可以在云和用户之间以加密的形式传输，而任何信息在用户之间都不传输，这就导致了数据孤岛的现象。

在本文中，我们使用深度神经网络来学习云模型和用户端DNN模型。DNN本质上是多元线性回归，通过输入用户的原始数据来进行端到端特征学习和分类器训练。考虑到联邦学习的特点，本文对局部DNN网络进行了较大的改进，即共享最后一个隐藏层之前的主要参数，而不共享最后一个隐藏层与输出层之间的参数。详细的原因将在下一节中解释。

3.2.1. 云模型

云服务器使用公共数据和用户上传的参数建立全局云模型fs。训练过程中的目标优化过程可以表示为

 其中l(·，·)为训练模型的损失函数，如交叉熵损失函数。Θ表示需要学习的参数矩阵，包括隐含层的权值和偏置(不包括最后一个隐含层和输出层之间的参数)。云模型建立后，将参数Θ分发给所有用户。

3.2.2. 用户端DNN模型

用户还建立了一个本地DNN模型，就像云模型一样。训练过程基本不变，只是样本数据相对较少，属于个人隐私数据。对于任意用户u，局部DNN模型表示为fu，目标函数可表示为

Θu作为本地DNN的重要参数，以加密形式上传到云端。云训练参数集Θ1， Θ2，…， Θn，以更新全局云模型和参数Θ，然后将更新后的参数Θ分发给所有用户。根据实际需要，局部参数可定期更新，如每日更新一次，每晚更新一次。以上整个过程是一个动态的迭代优化过程，不断提高模型的识别能力。

另外，通信过程中的参数Θ可以通过同态加密[28]避免信息泄露。同态加密可以在密文域内操作，适用于云计算。本文以加法同态为例，简要介绍了加法同态的定义。

定义1(加法同态)。加密函数E满足

其中x和y在整个过程中没有泄露，所以算法⊕是同态加法[29]。根据定义1的特点，在加密的情况下对权重矩阵和偏置向量进行操作，使得原始数据不会泄露，满足了Fed-SCNN的需要。

3.3、 浅混合模型

由于驾驶环境有限，联邦学习可以有效解决数据孤岛问题，构建通用模型。但对于分心驾驶，另一个重要的问题是个性化。即使我们可以通过云使用全局模型，它在特定用户上的性能仍然很差，因为任何用户和云数据之间都存在分布差异。同时，DDN只能学习公共特征，而不能学习特定用户的细粒度信息。

对于个性化差异学习，卷积神经网络(CNN)可以在学习任务中学习更高层次的特征，即可以在通用模型的基础上学习个性化特征。该方法以少量的计算效率为代价，大大提高了识别精度，可以更准确地预测分心驾驶。

考虑到loT的硬件条件，我们决定采用一种浅层cnn (SCNN)，可以减少对高性能硬件的依赖。SCNN作为浅层混合模型的重要组成部分，主要提取高级特征，以弥补局部DNN模型的不足。SCNN下面的结构块用C2D-BN-LR表示:conv2d⟶批归一化⟶leaky ReLU。+e SCNN的具体网络结构为:HPF⟶两个C2D-BNLR层⟶一个全连接层⟶sigmoid函数。在更新局部DNN模型后，将两个网络合并，得到浅层混合模型，如图3所示。本地DNN的最后一个隐藏层与本地SCNN的全连接层合并，然后连接输出层。+粗略融合两个模型，不断迭代优化，最终实现局部最优预测。对于任意用户u，局部混合模型的目标函数优化过程可表示为

其中softmax{·}作为输出操作，<·|·>表示网络融合层。需要注意的是，λ表示网络融合层和输出层之间要学习的参数矩阵。+粗糙适当的训练和优化浅层混合模型，最终可以得到局部识别模型。 

图3:浅层混合模型的原理结构

 

4、实验分析

4.1、数据集

目前针对分心驾驶的开源数据集较少，且数据集标注质量较差[30]。因此，本文的仿真实验首先构建了自己的数据集，主要包括三个关键步骤:(1)采集与驾驶员分心行为识别相关的图像集;(2)对数据集中的图像进行预处理;(3)数据分类和标记。实验数据主要来自ImageNet[31]和open Images[32]等开源数据集。为了防止过拟合，我们对数据集进行旋转、平移、缩放等预处理操作，同时将图像大小裁剪为224 × 224以减少冗余数据，从而便于SCNN分析。自建数据共4233张图片，被分为12个不同的行为类别，如表1所示。

表1:自建数据集12类

 一般来说，每张图像只对应一个类别。图4是数据集分类的示例。需要注意的是，一些样本图像也可能有多个标签，例如司机用右手打电话，左手离开方向盘，这既属于C3，也属于C12。同时，为了验证实验，将数据集随机分为两部分，训练数据占90%，其余用于测试。

图4:数据集分类示例:(a)吸烟，(b)饮酒，(c)右手呼叫，(d)与乘客交谈

 4.2. 实验装置

在本实验中，云和用户都基于TensorFlow联邦框架(TFF)[33]执行DNN。同时，对于用户，通过TensorFlow实现了SCNN。硬件环境如表2所示。

表2:软硬件实验环境

对于局部SCNN模型，采用基于Adam的优化算法，学习率为0.0002，损失函数用二进制交叉熵表示。采用随机梯度下降法(SGD)对训练样本进行连续迭代。模型完成后，利用测试集比较浅层混合模型、SCNN模型和局部DNN模型的识别精度。

  4.3、识别精度

我们的结果如图5所示。随着训练周期的增加，我们比较了局部DNN、SCNN和混合模型识别精度的变化。以上三种模型的精度在一定范围内与迭代次数成正比。从图6(a)可以看出，当epoch大于130时，局部DNN的平均准确率达到67.5%。当超过169个epoch时，准确率不会增加。局部DNN的识别精度仍然较差，但与传统决策树和支持向量机相比已经取得了进步。从图6(b)可以看出，当epoch大于20时，SCNN的平均准确率达到80.2%。经过40多个epoch后，SCNN的准确率略有波动，达到81%，比局部DNN模型高出近14%。

图5:优化后浅层混合模型识别准确率的变化 图6:(a)局部DNN， (b) SCNN， (c)浅层混合模型的识别准确率与历元的关系

 

 4.4、算法比较

为了验证Fed-SCNN算法的优越性，本文将该算法与传统ML算法[20]进行了比较。如图7所示，决策树、SVM、朴素贝叶斯、MLP等经典分类算法的准确率都不超过60%。CNN的准确率可以达到97%，但它依赖于高性能硬件。而在低的条件下，FedSCNN的准确率远高于95%硬件要求。在150 epoch局部DNN和50 epoch SCNN的基础上，18 epoch后浅层混合模型的准确率可达到98.73%，充分体现了Fed-SCNN在分心驾驶识别中的优势。在保证高精度的条件下，比较了Fed-SCNN和CNN方案的训练效率。如图8所示，Fed-SCNN的平均准确率很快达到95%，而CNN在190分钟的训练后准确率才达到95%。由此可见，Fed-SCNN方案在效率上优于CNN方案，更适合移动驱动硬件环境。

图7:Fed-SCNN与其他传统ML算法[20]的识别精度比较

 

图8:Fed-SCNN和CNN模型训练的效率

 

4.5、安全分析

Fed- scnn的安全性主要基于两个方面:

(1)同态加密。本文的安全性是基于联邦学习的隐私保护机制。联邦学习中有三种主要的隐私保护方法:差分隐私、同态加密和安全多方计算。其中，同态加密具有最高的安全性。本文对云与用户之间传递的主要参数采用加性同态加密，即系统的安全性依赖于密钥的保密性，完全符合Kerckhoffs ' principle[34]。

(2)数据不离开本地，这是联邦学习的另一个优势，并且满足GDPR法案的要求。在通信过程中，只传递训练的重要参数，如梯度参数。在现有技术条件下，通过反向运算很难恢复原始数据，这在一定程度上提高了数据的安全性。

5、结论

本文提出了一种用于分心驾驶的联邦浅cnn识别框架。针对分心驾驶，创新性地提出了一种基于联邦学习的识别方法，为分心驾驶识别提供了新的研究思路。Fed-SCNN的框架是一个动态学习过程，可以解决数据孤岛和隐私保护两大问题。与现有的ML方法相比，该方法的识别精度更高。实验结果表明，Fed-SCNN在精度、安全性、效率等方面具有较大的优势，在安全驾驶领域具有重要的应用价值。在保证识别精度的基础上，如何减少计算量，提高识别效率