多模态情感识别_基于深度学习的多模态情绪识别与疲劳驾驶检测

近日，中新网报道了一起发生在湖州的交通事故：一辆小轿车以120迈的速度冲破高速公路护栏，在落差为四米左右的高空中滑行五六十米落地，砸入一片茂密的夹竹桃林。据驾驶员称，车内俩人是一对夫妻，趁着周末到湖州安吉旅游，回去路上车辆开了120KM/H的定速巡航。由于玩得太累了，开着开着两个人都打起了瞌睡，方向一偏车便冲出护栏发生了事故。

各种ADAS技术让车辆越来越智能，人开车时的注意力反而下降，容易产生疲劳。据统计，在2006-2010年内，中国交通事故引起的死亡人数每年超过7.5万。据美国国家公路交通安全管理局的统计，仅2015年，就有近9万次交通事故是由疲劳驾驶引发的。目前针对酒后驾驶、超速、超载等问题，已经有很好的检验技术，但是还没有可靠的疲劳驾驶检测技术。疲劳驾驶检测的困难之处在于疲劳驾驶是一个过程，不像酒后驾驶是一个时间点，而且对于疲劳级别的判断，没有客观的指标。
1月10日在2019国家智能产业峰会上，上海交通大学计算机科学与工程系仿脑计算与机器智能研究中心主任吕宝粮教授针对情绪识别与疲劳驾驶检测问题做了精彩的报告。报告详细介绍了国内外情感-脑-计算机交互的研究动态，和吕教授团队近几年在探索情绪识别的稳定脑电模式、应用迁移学习解决脑电个体差异和跨场景域适用问题、以及脑电与前额眼电融合的疲劳驾驶检测模型等方面的部分研究结果。他认为：随着干电极脑电采集技术、可穿戴设备和5G技术的迅速发展，基于脑电的情绪识别与疲劳驾驶检测正在从实验室走向真实环境，为开发面向实际应用的情绪预警与疲劳驾驶检测系统提供了新的技术手段。以下为智车科技整理的吕宝粮教授发言。

我今天想从以下这几个方面进行介绍，首先我介绍一下情绪识别和疲劳监测研究的背景，接下来介绍两方面的研究现状，第三部分主要是介绍我们最近几年在这个领域的一些工作，最后做一些小结和展望。情绪识别和疲劳监测研究的背景
在2015年，德国之翼航空公司发生了一个非常悲惨的空难事件，这个事件是由于副驾驶由于自杀引起的，有了这个事件以后，欧盟对于驾驶员的精神评估非常重视。第二个事故发生在台湾，台湾飞日本的新干线每小时270公里速度下发生的事故，尽管这个事故没造成人员伤亡，但是使乘客感到非常的恐惧。
再看看交通事故，实际上据不完全统计我们国家从06年—10年由于交通事故的死亡人数每年超过7.5万，美国2015年统计数据9万次交通事故是由于疲劳驾驶引起的，大家如果开车的话，每个人都会体验过疲劳驾驶的一些情况。
现在对饮酒驾驶，超员超载有非常好的技术，但是很遗憾全世界对疲劳驾驶没有一个很好监测，首先什么是疲劳？如何度量？因此最大的难点，疲劳是一个过程，不是一个时间点，所以我们必须要开发一套监控系统来监测这个疲劳。
我们现在来看国家的法规，实际上由于前几年高速大巴事故太多了，经常看到大巴死了很多人，所以国家实在没有办法，国家出台了政策：一是不能连续超过四个小时开车，第二深夜2点到5点禁止大巴上路，这是对国家资源一个巨大的浪费。我当年在日本留学的时候，比较穷，基本上从京州到东京基本坐夜班的大巴，既便宜又经济，我们想想现在有13万公里的高速，正常时间不让大巴上去，浪费时间，而且这个规则也不能很好地控制疲劳驾驶。
我们说另一个方面现在国家高速铁路发展的非常快，我们要保证高铁的安全，一方面线路，各方面车的硬件需要有很好的技术保障，另一个很重要的我们驾驶员，大家可能不知道我们现在高铁司机人数已经超过一万人，这么大的人群我们如何能够知道他的精神状态，比如说德国航空公司这样的事件能不能避免？实际上对我们科技工作者提出一个挑战。
我们从十年前，在上海交通大学成立一个团队，当时研究目标就是希望开发一套可穿戴设备，无限干电极脑电信号和生理信号来对疲劳现象进行监控。我们的目标是什么？现在在铁路上调度员只能看到火车跑到什么地方，不知道人什么状况，我们未来就希望对每一个驾驶员我们有一个窗口，能适时监控他的精神状态和疲劳情况，当然不限于高铁，包括飞行员，包括长途大巴，实际上为了这个目标，我们在实验室建立了一个模拟驾驶系统，可以模拟各种天气和场景。

这是一个桑塔纳的旧车，我们武装了各种传感器，脑电、眼电，方向盘的握力，希望能够通过多模态建立精准的模型。现在看看情绪识别这件事情，最近随着人工智能的发展大家觉得越来越重要，比如说在16年美国提出来未来人类20个大问题，其中第三个问题是我们意识的本质是什么？第15个问题就是我们能不能利用可穿戴设备监测我们的情绪，对于15个问题，大家都熟悉Prof教授，她的回答很保守，“在未来十年，可穿戴设备可以为我们的健康提供个性化的预报。比如，基于用户最近的压力、睡眠、社交情感活动，让我们的健康和幸福指数在未来一周提高80%。未来20年，可穿戴式设备和从其获得的分析数据，能显著降低精神和神经疾病的发病几率。”
实际上对于情感计算和情绪识别，随着人工智能发展，很多公司都非常重视。但是很遗憾，对于这个方面的研究，一个是投入的人力不够，另外在神经科学和理论方面也是比较欠缺，我们说情绪在神经科学里面，由于动物的本性，基本上就是在研究恐惧的心理，就是说我要研究动物是否高兴，我们怎么来知道它是怎么高兴，基本状态比较单一，尽管心理学情绪是非常悠久的历程，但是没有定义。现在精神疾病包括抑郁症基本上停留在客观和定性的指标，我们现在大多数所谓的情感标识基本上是依据图象、文本、声音，这些信号容易获取，但是这个模型不准确，我们是粗略的估计人的情绪状态。传统的基于视频图像的疲劳驾驶检测

关于疲劳驾驶检测，大家知道我们可以用视频录像，在方向盘里面加一个摄象头。根据1994年提出的PERCLOS，人的眼睛闭眼的状态可以判定你是不是疲劳，这个方法的优点是它非常的廉价，但是它最大的问题是它有延迟，判定窗口至少需要30秒到一分钟，很难做预测，就是说用这个眼睛闭合的那么久来测试，往往两秒钟就会发生很严重的交通事故，问题是很难预测因为有这个延时时间。情绪识别和疲劳驾驶检测的科学问题和技术挑战？
所以我们就希望能够通过生理信号，特别是脑电信号。首先我们要提出对情绪的度量，我们要制定法律，什么是疲劳，疲劳程度是什么，医学研究表明，脑电科是最好的，现在可做成可穿戴设备，但是用脑电波来做情绪识别和情绪检测也有很多科学类和技术类的挑战，比如这里列了几点：

• 多模态信号融合是否对情绪识别和疲劳检测模型有效？
• 表征情绪的脑电模式随时间推移是否稳定？
• 如何解决被试间脑电信号的差异问题？
• 是否能用干电极脑电采集技术实现疲劳驾驶检测？
• 如何提升干电极可穿戴脑电设备的舒适性？

下面针对这些问题提出我们最近几年的一些研究方案。多模态的情绪识别与疲劳驾驶检测
总起来说，根据我们经验和其他方面研究，对于这种复杂的疲劳和情绪状态，多模态肯定是一个非常好的手段，因为你现在很难找到一个单一的信号能够对这个模型进行辨识。
我们想报告的第一部分就是我们利用多模态的方式来做情绪识别，这里面我们用了两个模态，一个是脑电信号，一个是眼动信号。大概在四年前提出了这个方案，为什么采用这两个模态而不是别的？因为刚才提到了脑电信号不管是神经科学还是医学类，它是最能直接反映人的情绪和状况，它是表现了我们人类内部的状况，眼动仪和追踪仪刚好是表明你的外部的状态，而且随着现在的技术发展，眼动仪追踪已经可以戴上眼镜了。最近韩国一个公司可以把眼动仪集成到一个非常好穿戴设备。
有了这样的两个模态，我们看看能否对情绪识别起到帮助。刚才说到了实际上这两个信息有个互补的特性，脑电信号反映了神经的内部，眼动刚好是外部的潜意识行为，当然也可以追加其他的一些模态的情况。
在研究中，我们就发现，如果你单纯用脑电和眼动仪可以达到78%左右的识别率，如果把这两个模态融合起来，用一个模糊积分的方法，可以提高将近10个百分比，为什么会提高这么大的识别率？
实际上这里面的原因是这样的，我们发现对于正面情绪，脑电信号识别率不高，对于负面情绪和中性情绪恰好是眼动信号比较薄弱，特别负面情绪误判成中性情绪，这时候眼动信号要比脑电数据精准，由于他们很好的互补，所以说这两模态的信息融合起来就可以提升模式的准确率。
第二个问题在用脑电做情绪也好，做疲劳检测也好，研究之前，有一个问题，大家都没有重视，就是说对于情绪来讲，脑电模式会不会随着时间变化，我们说对于人脸的图象不会变，我今天高兴是这样，明天后天这个高兴的模式都是一样的，而且中国人是这样，美国人、日本人也类似，但是对于脑电细胞我们不清楚。研究发现，这是一个能量分布，我们可以把脑电是一个时间序列型号，可以把它分成五个频段，对高兴正面，它的颞叶兴趣能量非常高，但是对负面和中性情绪能量分布就不是很高，有明显的区别，另外可以从这个脑电图可以看出，实际上中性情绪和负面情绪比较类似。
能量分布会不会随着时间变掉，今天是这个模式，明天是不是会其他模式，我们这个研究就回答了这个问题，脑电模式至少对三类情绪，现在我们已经做到五类情绪，这个模式是能控制的，从人体的结构来看，也是符合这个结论的，就是说你的大脑就是这样的结构，你不会今天受到事情是这样的反映，明天就会变到另外一个反映，这是一个自然的表现。我们的结果通过实验证明，这个脑电模式对情绪识别是稳定的，这个结果实际上我们投到MIT技术层面，马上报道了我们这个结果，就是说智能机器人与人类沟通是如何识别情绪变化，说中国团队给出了一个答案。
第二个挑战用所有的生理信号就会遇到有问题，由于生理信号，特别是脑电信号本身是非平稳信号，它的统计特性会随着时间的变化而变化，第二人和人生理信号差别也很大，三是以采集信号的时间不一样。
由于这样的变化，传统的训练数据和测试数据一定是同分布的，如果是这个条件变掉以后，往往会下降很多，特别对于脑电系统，在这里我们试图用迁移学习来解决这个问题，对目标有很多充足的数据，对目标率可能没有标号，甚至标很小，我们能不能对新的用户建立好的模型呢？在这里，我们试图用迁移学习来解决这个问题，用了很多迁移学习的方法，其中一个参数直推迁移方法。在研究中表明，参数直推迁移在这些三四个迁移方法表现最好，它要比传统的机器学习方法要提高将近20%个识别率，当然这是我们两年前的工作，现在更新的模型比这个又有很大的一个提升。至少在这个地方可以得出这样一个结论，通过迁移学习可以克服生理信号被试之间的差异问题和长久差异。
接下来我想给大家分享一下，我们用眼电信号和脑电信号来做疲劳驾驶的检测。眼电信号和脑电信号来做疲劳驾驶的检测
根据传统的眼电信号，只需要佩戴四个传感器放到眼睛周围，就可以把眼电信号采集下来，但是我们发现放在这个位置会遮挡你的视线，不利于做穿戴设备，我们就提出了一个新的方案叫前额眼电。把这个放在前额，放在前额有几个优点，一是对电的要求非常宽松，因为现在单电机，如果放在有头发的区域还是比较困难，放在前额比较容易，另外我们没有遮挡，比如说我们高铁司机他们本来就要戴工作帽，就可以把这个可以放在帽子里，很适合做可穿戴设备。
通过比较三种方案，一是前额眼电放在这个地方它可以同时采集用眼电信号和脑电信号，比较了这个位置和放在耳朵上面颞叶和放在枕叶，我们过去放在研究放在枕叶非常好，这个地方利用眼动仪作为疲劳驾驶的一个状态，理论上讲每个人的疲劳和情绪状态真正的变化我们是不知道的，只有通过刚才提到的眼动仪来对这个数据进行标注，另外因为脑电信号是时间序列，我们引入了两个模型，一个是连续条件神经场，另外一个是连续条件神经场来讨论动态的变化，这是我们最后的结果，通过这个结果可以看放到前额和放在枕叶和颞叶差不多的，考虑到使用，显然放在前额是非常好，因为可以做很好的穿戴设备。
另外很大的挑战就是如何开发舒适的可穿戴设备，和视频相比，生理信号必须用可穿戴设备，高铁司机飞行员，我们一般的用户可能比较困难，现在的研究的主要目的是为了做出标注，满足像高铁司机这样的一些要求。
我们微纳电子学刘景全教授他们开发了用导电的纤维，不是金属。我们在医院或者其他传统办法要花时间，用时间长了脑电波会干掉，性能下降，这是我们用3D打印做的一个简单的图，和实践比较基本性能是差不多的。接下来的工作就是把我们刚才在实验室的疲劳驾驶检测工作把它应用到真实的场景，另外这些眼电设备都是我们自己开发的，当然这个设备现在还是比较粗糙，但是这个信号质量可以达到我们的要求。

这是我们在交通大学民航校区开车的路径，大概设有三公里多，我们用电动车，这个实验在各种路况下做了一个对比实验。一个是是20名学生在实验室里模拟情况，另外是10名学生参加了真实的实验，在真实的实验里又下雨天，有傍晚，最后得到的结果是在实验室的模拟驾驶情况我们用前额眼点可以达到71%的准确率，如果到了真实驾驶环境这个性能会比实验室有所下降，下降到66%，但是基础上不降，这个方案是可行的，因为这个地方有很多可以继续工作的空间，包括我们信号的渠道，包括我们数据量的大小都可以进行改造，至少从这个研究来讲，我们是可以按照这个路线来做这个实用化。
除了刚才讲的算法之外，我们从2年前把情绪识别疲劳驾驶检测多模态数据作为公开的数据集供研究来使用，这个数据到去年10月份开始大概有三十多个用户，也欢迎大家对这个领域感兴趣的同仁们一起来使用这个数据库。
这是一个四类的数据，相关的工作室发表的去年的杂志上，这是疲劳驾驶检测的多模态数据，脑电和眼动数据。总结和展望
最后我做了一些简单的总结和展望，通过我们这个研究，脑电和眼动信号的融合能大大提升情绪识别的精度；前额眼电提供了一种实用化的疲劳驾驶检测方案；迁移学习是解决跨被试数据差异问题的有效方法；随着可穿戴设备、5G技术和深度学习的发展，未来3-5年情绪识别与疲劳驾驶检测的研究有望解决：n特殊岗位人员的情绪识别与预警；高铁司机、飞行员、长途客车司机、危险品运输司机等人员的疲劳驾驶实时监测；多模态情感脑-机交互的抑郁情绪评估与干预。
我们期待着能够解决一些实际问题可以为国家为社会的安定作出一点贡献，我的报告就到这里，谢谢大家。