EEG-MI 基于EEG信号的运动想象分类实验

1. 项目背景

“脑机接口”（Brain Cpmputer Interface, BCI）研究的核心是在大脑和外部设备之间建立直接的联通通路，因此脑机接口也被誉为“人工智能的顶级科学”。脑机接口（BCI）通过计算机信息处理技术理解人的意图，并将此意图转化为对外界的控制命令，实现大脑对外部世界的直接控制。目前的脑机接口应用主要有以下几个方面[1]：
① 脑机接口替代原有中枢神经系统的输出
② 重建丧失的中枢神经系统的输出
③ 补充正常中枢神经系统的输出
④ 改善正常中枢神经系统的输出
⑤ 作为研究工具来研究中枢神经系统的功能
脑电(electroencephalograplh EEG)信号属于非入侵式脑机接口技术，作为一种特殊而复杂的生物电信号,反映了大脑的功能状态,是由脑内亿万神经元活动而引起的头皮表面电位变化,检测这些电位的变化对研究大脑的功能状态非常重要。有效提取脑电信号中蕴藏的信息, 可以更深入地了解大脑的功能活动[2]。近年来，研究脑电信号的任务不断增长，范式主要包括：运动想象数据，情绪识别数据，误差相关电位(ErrP)，视觉诱发电位(VEPs)，事件相关电位(ERPs)，慢皮质电位(SCPs)，休息状态音乐与EEG，眨眼/眼动Miscellaneous，临床脑电图等。
本次实验研究了运动想象（MI-EEG）任务，该任务是人在想象自己肢体（或肌肉）运动但没有实际运动输出时，人的特定脑区仍会有激活，目前常见的运动想象部位为：左右，右手，双脚和舌头。通过分析脑电信号，检测识别不同脑区的激活效果来判断用户意图，进而实现人脑与外部设备之间的直接通信与控制。
本实验使用的数据集是本实验采用的数据EEG Motor Movement/Imagery Dataset(eegmmidb)，该数据包含了分别开合手、分别想象开合左右手、分别开合双手双脚、分别想象开合双手双脚时人脑64通道的脑电数据。对于一个测试者，需要做十四个实验性的测试，包括两分钟的基线测试（睁眼，闭眼），重复三次以下四个任务：
① 目标出现在屏幕的左侧或右侧。受试者打开和握紧相应的手，直到目标消失，然后受试者放松。
② 目标出现在屏幕的左侧或右侧。受试者想象张开和握紧相应的手，直到目标消失，然后受试者放松。
③ 目标出现在屏幕的顶部或底部。受试者打开或握紧两只手(如果目标在顶部)，直到目标消失。然后受试者放松。
④ 目标出现在屏幕的顶部或底部。受试者想象打开和握紧两只手(如果目标在顶部)，直到目标消失。然后受试者放松。
本次实验中，我们选择一个测试者S01的两次测试一共六十个任务，每个任务有4秒的时间，采样频率为160次/秒，采集64个通道的数据。测试者的状态包括T0：静息态，T1：想象左手松开/握紧，T2：想象右手松开/握紧。

2. 实验目的

 对得到的脑电信号（EEG）进行预处理，消除噪声和干扰
 将预处理后的信号进行特征提取，得到有用的数据信息
 设计分类器，对三类状态进行分类
 评估并对比分类器的性能，评估特征提取的作用

(预处理和特征提取参阅相关的其他博客，本博客主要介绍使用CNN来进行三分类实验)

3. 实验过程

为了正确的识别 EEG 信号，信号的处理应该包括以下三个部分：预处理、特征选择与提取以及特征分类。其中，预处理算法就是利用空间和时间滤波器对这样的原始信号进行滤波，以消除噪声和伪迹；特征提取算法就是从预处理后的脑电信号中抽象出能能够严格区分不同思维状态的特征向量；分类算法就是根据判别准则对提取出的特征向量进行分类，以获取最好的分类效果。最后我们对分类器的性能以及特征提取的作用进行了研究和可视化。实验的流程如图3.1。

CNN部分

分类器设计

通过阅读文献资料[3]，发现深度学习在MI-EEG的分类任务中已经发展到得十分成熟，如图3.1，主要包括RNN[5]，CNN[4]，GCN[6]等。在本实验中，我们基于CNN来设计分类器。CNN在MI-EEG的分类任务中具有诸多优点，一是可以省略特征提取步骤，可以直接输入经过预处理的数据；二是CNN能够从大量数据中学习到高维特征，对于处理大数据有优越的性能，而MI-EEG的数据集十分巨大，一次测试便有640*64个数据点。github上有一个EGG深度学习图书馆

本文的设计的CNN分类器基于[4]，包含六个卷积层，两个最大池化层和两个全连接层。数据集大小为[64*60，560], 按照7：3的比例划分训练集和测试集。将560个时间戳看成28×20大小的一张图片作为输入，输出是三种类别：T0、T1、T2（静息态，想象左手，想象右手）。一个样本大小为28×20×1，输出为预测类别。batch大小为64。使用Adam优化器，学习速率为1×10^-5。详细网络结构如图3.20所示。

经过五百轮训练后，训练集上正确率达到98.96%，测试集的三分类正确率达到93.4%，模型性能良好，由图3.4可知，损失函数收敛。根据[4]，使用105个人每个人三次实验的四分类正确率为93%-94%之间，与本实验结果相符，说明算法正确。

性能评估

本实验使用accuracy, recall, precision，F-score四个指标对模型性能进行评估。其中准确率（accuracy）, 所有的预测正确（正类负类）的占总的比重，准确率越高，意味着模型整体的预测准确程度；精确率（也叫查准率，precision), 即正确预测为正的占全部预测为正的比例，（真正正确的占所有预测为正的比例），精确率越高，意味着正样本中预测准确度越高；召回率（recall）, 即正确预测为正的占全部实际为正的比例（真正正确的占所有实际为正的比例）；F-score值，F1值为算数平均数除以几何平均数，且越大越好，将Precision和Recall的上述公式带入会发现，当F1-score值小时，True Positive相对增加，而false相对减少，即Precision和Recall都相对增加，即F1-score对Precision和Recall都进行了加权。一般来说准确率和召回率呈负相关，一个高，一个就低，如果两个都低，一定是有问题的。一般来说，精确度和召回率之间是矛盾的，这里引入F1-Score作为综合指标，就是为了平衡准确率和召回率的影响，较为全面地评价一个分类器。
① 真阳性（true positive， TP）
② 伪阳性（false positive，FP）
③ 真阴性（true negative，TN）
④ 伪阴性（false negative，FN）

代码

见github，欢迎大家给我star哦

EEG MI任务原始数据 https://archive.physionet.org/pn4/eegmmidb/
本文代码使用的数据 https://download.csdn.net/download/qq_45347185/12689981

参考文献

[1] Brunner C , Birbaumer N , Blankertz B , et al. BNCI Horizon 2020: towards a roadmap for the BCI community[J]. Brain Computer Interfaces, 2015, 2(1):1-10.
[2] 李颖洁, 樊飞燕, 陈兴时. Development of EEG Analysis in the Research of Cognitive Science%脑电分析在认知研究中的进展[J]. 北京生物医学工程, 2006, 025(003):321-324.
[3] Padfield N , Zabalza J , Zhao H , et al. EEG-Based Brain-Computer Interfaces Using Motor-Imagery: Techniques and Challenges[J]. Sensors, 2019, 19(6).
[4] Hou Y , Zhou L , Jia S , et al. A novel approach of decoding EEG four-class motor imagery tasks via scout ESI and CNN[J]. Journal of Neural Engineering, 2019, 17(1).
[5] Hou Y , Jia S , Zhang S , et al. Deep Feature Mining via Attention-based BiLSTM-GCN for Human Motor Imagery Recognition[J]. 2020.
[6] Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering
[7] 拉杰什P.N.拉奥(Rajesh P. N. Rao). 脑机接口导论[M].北京机械工业出版社.2016-7
[8] 王洪涛.邹鹤良.李达强.何国渊.基于左右手运动想象的在线算法设计与应用.数据采集与处理第28卷第6期2013年11月829-833