学术篇 | 多模态fNIRS脑电分类——基于脑机接口的深度学习算法

近年来，脑机接口（BCI）系统的发展受到神经科学家的广泛关注，脑机接口可以作为一种沟通手段，并为运动障碍患者的运动功能恢复。脑机接口（BCI）设计的一个重要部分是正确地对脑信号进行分类，这些信号过去是通过脑电（EEG）采集的，然而，最近的研究表明，当EEG与fNIRS等其他神经成像方法相结合时，分类结果更为可靠。
传统的分类方法需要先验特征预处理来训练模型，这样的特征选择是一个困难且研究较多的问题，通过使用深度神经网络（DNN），记录可以直接反馈给算法进行训练，避免了特征选择的需要。本研究探讨了DNNs在运动表象（MI）和心理负荷（MWL）混合脑电fNIRS记录分类中的应用，采用五层全连通网络进行分类。
这项研究利用了柏林科技大学收集的两个开源元数据集，第一个数据集包括26名健康参与者在三项认知任务中的大脑活动记录：①n-back（0-、2-和3-back），（2）辨别/选择反应任务（DSR）③单词生成（WG）任务；第二个数据集（运动表象）由左右手运动表象任务组成，每个任务有29名健康参与者。
我们的结果表明，与单独的EEG或fNIRS记录相比，多模式记录的分类准确性要高得多。相对于传统的支持向量机（SVM），该算法提高了分类性能，两个任务的平均准确率均达到90％，比SVM性能高8％，这些结果证明了使用多模式BCI和深度学习实现强大分类性能的可行性。

1、背 景

BCI可以用作交流工具，神经康复工具以及恢复患有肌萎缩性侧索硬化症（ALS）和脊髓损伤等运动障碍的人和处于持续锁定状态的人的运动功能的手段（LIS），BCI技术的新进展允许他们在大脑活动期间使用从头皮收集的电或血液动力学信号与周围环境联系，操纵或改变周围环境。
BCI的主要目的是检测和解码指示用户意图的大脑信号，并将其转换为可实现用户意图（通常是运动意图）的设备命令。这些命令或运动想象（MI）主要来自主要运动皮层，并且由一系列上肢或下肢运动组成。
为了实现必要的解码，BCI系统需要执行一组信号处理操作并将信号分类为相应的命令，独立脑电图（EEG）和功能近红外光谱（fNIRS）已广泛用于大脑成像。然而，近年来，这些方法的组合已在神经影像学中显示出令人鼓舞的结果，这是由于它们具有互补的分辨率，可以在时间和位置上准确识别大脑活动，脑电的高时间分辨率和fNIRS的高空间分辨率。
然而，基于fNIRS和EEG信号的认知任务分类涉及解决复杂的模式识别问题，常规分类方法需要先验特征选择和预处理，而这些特征和预处理并不能始终保证能导致最佳分类，深度神经网络（DNN）可以克服这一挑战：DNN直接从fNIRS和EEG信号中提取特征，并且它们需要最少的特征预处理。此外，随着最近计算能力的提高，深度神经网络（DNN）已成为高精度分类的一种实用选择。

在基于脑电图的BCI中，许多机器学习方法已用于对大脑活动进行分类，并且显示出很高的分类准确度，在参考文献[6，7]中描述了关于深度学习的脑信号翻译能力的最早研究，Hajinoroozi等人使用了一个深层的信念网络。
参考文献[8]基于EEG的驾驶员认知状态分类，通过使用一些EEG记录通道和An等人的DNN分类器，研究了运动想象分类（左对右）。
参考文献[9]的平均记录的准确性约为80％。
在基于fNIRS的BCI分类中，已经研究了针对BCI应用的各种类型的fNIRS实验，包括使用精神工作量[见参考文献10，11]ÿ