基于深度学习网络的运动想象BCI系统及其应用
研究人员提出了一种基于深度学习模型的运动想象脑机接口(BCI)。运动想象的脑动力学通常通过EEG作为低信噪比的非平稳时间序列进行测量。研究人员经过调研发现，以往对MI-EEG信号进行分类的方法，由于缺乏时频特征，分类效果不是很理想。在该项研究中，研究人员采用离散小波变换(DWT)对脑电信号进行变换，并提取其有效系数作为时频特征。然后采用长-短期记忆(LSTM)和门控递归神经网络(GRNN)两种深度学习模型对MI-EEG数据进行分类。
其中LSTM被设计用于对抗逐渐消失的梯度。GRNN使每个循环单元自适应地捕获不同时间范围的依赖关系。GRNN有门控单元可调节单元内部的信息流，但无需单独的存储单元。实验结果展示了，GRNN和LSTM具有更高的分类精度，有助于相关RNN在MI-EEG处理中的进一步研究和应用。
运动想象(MI)是BCI领域的一个重要研究课题。所谓运动想象脑电，就是想象某种肢体运动时的脑电模式。现代神经电生理学研究表明：当进行肢体动作或运动想象时，对应激活脑区EEG成分在功率谱密度上产生变化，即出现ERD/ERS现象。脑电的这种节律性差异，可用于实现BCI技术。
想象肢体运动时，对应皮层投射区域出现脑电节律调制现象。当想象左手运动时，大脑右半球C4区域神经电活动增强，该区域的信息加工导致EEG功率谱出现减弱现象；当想象右手运动时，大脑左半球C3区域神经电活动增强，其EEG功率谱出现减弱现象；而对应脚和舌头的ERD/ERS现象分别出现在大脑顶叶和颞叶，大致为Cz和CP6区域。不同运动想象任务时所激活的脑区如下图1所示，其空间分布符合周围神经纤维与大脑皮层投射关系，与脑功能分区图相一致，因此，运动想象脑电信号具有空间特性。
ERD/ERS现象主要出现在频率范围在8-12Hz的mu节律和频率范围在18-26Hz的beta节律，特别是mu节律变化最为显著。但是不同任务的运动想象脑电在特征频段上也有差别，对应手的ERD经常出现在10-12Hz和20-24Hz，对应脚的ERD经常出现在7-8Hz和20-24Hz，对应舌头的ERS经常出现在10-11Hz，并且运动想象脑电频段是与特定人相关的,因此，运动想象脑电信号还具有频段特性，合理选择最佳的滤波器及滤波频段是后续处理提高分类效果的关键。
图1 不同运动想象任务时所激活的脑区
由于运动想象是通过对肢体运动的成像来模拟给定的动作，它会使得大脑皮层神经元之间的连接发生各种变化。这会导致mu节律的事件相关去同步(ERD)或事件相关同步(ERS)。这些效应是由于神经元化学突触的变化，互连强度的变化或局部神经元内在膜性质的改变。MI-EEG是从头皮EEG中提取的，具有非线性、非平稳、时变等特点。
系统架构
实验提出的BCI系统通过Emotiv EPOC芯片，g.SAHARAbox系统和g.SAHARA电极集成为EEG信号提取子系统。g.SAHARAbox系统和g.SAHARA电极如图2所示。该系统的电极为干式非侵入式导电系统，可将16个EEG通道同时嵌入到EPOC芯片的输入中。如图3所示，基于国际10-20系统的电极位置C3，C4和Cz用于提取EEG信号，而位置A1和A2用作参考点。对于MI-EEG信号，分别识别出两个运动想象大脑信号。一个是“想象右手动作”，另一个是“想象左手动作”。为了建立采样模型，研究人员从每个通道获取了每个想象动作的9秒脑电图信号。对提取出来的脑电波信号进行DWT变换，得到其频域频谱。然后利用LSTM和GRNN计算频率特征并进行分类。
图2 EEG信号提取子系统 (a) g.SAHARAbox系统;(b) g.SAHARA电极
图3 国际10-20系统的电极位置C3，C4和Cz位置
离散小波变换
该项研究中，研究者采用Daubechies博士提出的Daubechies小波来提取脑电图信号的特征。Daubechies小波常用于信号压缩、数字信号分析和噪声滤波等方面。在Daubechies小波分析中，采用多个系列db小波可以获得较好的信号分析性能。研究者具体采用db4小波提取脑电信号的主要特征。
在小波分解中，将原始信号分别输入到低通滤波器g[k]和高通滤波器h[k]。低通滤波器保留了原始信号的一致性，高通滤波器保留了原始数据的可变性。离散小波变换可以结合小波函数和尺度函数。低频部分具有较高的频率分辨率和较低的时间分辨率，而高频部分具有较低的频率分辨率和较高的时间分辨率。离散小波变换分解重组如图4所示，小波变换的多分辨率分析如图5所示。
图4 离散小波分解与重构
图5 离散小波多分辨率分解
基于LSTM的循环网络
RNNs是一种很受欢迎的网络，它在许多时序任务中表现出了很大的潜力。RNN之所以称为循环网络，是因为它们对序列的每个元素执行相同的任务，并且输出取决于先前的状态。LSTM是一种变种的RNN，它的精髓在于引入了细胞状态这样一个概念，不同于RNN只考虑最近的状态，LSTM的细胞状态会决定哪些状态应该被留下来，哪些状态应该被遗忘。
图6 RNN
图7 LSTM
LSTM中的内存称为单元，可以将其视为黑盒，将先前的状态和当前的输入作为输入。在内部，这些单元决定要保存在内存中的内容以及要从内存中删除的内容。然后，它们将先前的状态、当前内存和输入组合在一起。事实证明，这些类型的单元在捕获长期依赖性方面非常有效。
在本研究中，研究者采用了Gers和Schmidhuber 提出的peephole-connection LSTM，如图8所示。
图8 LTSM流程
门控递归神经网络（GRNN）
GRNN由Cho等人提出，目的是为了让每个循环单元自适应地提取不同时间尺度的依赖关系。如图9所示，GRNN具有门控单元，可以像LSTM单元一样调制单元内部的信息流，但没有单独的存储单元。
图9 GRNN流程
图10 脑电信号控制电动轮椅
研究者将所提出的脑机接口系统应用于电动轮椅的控制。在线实验过程中，每位受试者均佩戴带有集成了g.SAHARAsys和EPOC芯片的EEG采集系统。此外，还添加了用于眨眼的EEG信号，以轻松控制电动轮椅前进或紧急停车。对于MI-EEG信号，将想象的左手和右手转换为左右旋转轮椅，同时将眨眼信号转换为前进/紧急停止。为了加快脑电信号的提取和处理，将间隔调整为1 s。但是这些修改导致失去一些功能。因此，将db4小波调整为两个级别，并在LSTM和GRNN网络的隐含层中增加一层。
增加DWT的阶数可以直接减少EEG信号的长度。如果仍使用db4 DWT，则提取的信号将丢失某些特征。因此，降低DWT阶数可以在原始EEG信号中保留更多特征。隐藏层的数量增加是由于输入EEG信号的复杂性增加。隐藏的层越多，越有利于处理数据。但是，太多的隐藏层将导致网络在学习过程中难以收敛。
图11. 具有db4小波和七个隐藏层的LSTM和GRNN中的准确率。
(a) LSTM; (b) GRNN。
图12.具有db2小波和八个隐藏层的LSTM和GRNN中的准确率。
(a) LSTM; (b) GRNN。
在该项试验中，为了获得更好的收敛性，研究者将另外一层添加到隐藏层中。图11显示了具有隐藏层七层的LSTM和GRNN网络对db4小波的分类准确率，而图12显示了具有隐藏层八层的LSTM和GRNN网络对db2小波的分类准确率。
从图11和图12中，我们可以发现，对于LSTM和GRNN网络，测试数据的准确率明显提高，并且接近训练数据的准确率。
研究人员将LSTM和GRNN两种深度学习模型嵌入脑机接口系统进行MI-EEG信号分类，以识别两种想象运动，例如想象左右手动作。研究者在其设计的脑机接口系统中，使用tg.SAHARAbox系统和g.SAHARA电极的Emotiv EPOC IC等设备来捕获C3，Cz和C4上的MI-EEG信号。并使用Daubechies小波来获得db4和db2系数的特征值。GRNN可以使每个递归单元自适应地捕获可变长度序列。研究结果展示了，GRNN的性能优于其他策略。而且，在电动轮椅的控制应用中， GRNN展现了比LSTM更好的性能优势。
参考链接：
A Motor-Imagery BCI System Based on Deep Learning Networks and Its Applications
运动想象脑电信号处理与P300刺激范式研究
文章来源于网络，不用于商业行为，若有侵权及疑问，请后台留言！
更多阅读
恢复沟通、重塑触觉、双向接口，脑机接口爆发可期
在动作观察，运动想象和站立和坐姿执行过程中解码脑电节律
信号处理之频谱原理与python实现
EMD算法之Hilbert-Huang Transform原理详解和案例分析
EEGLAB 使用教程 3 -参考电极和重采样
第2期 | 国内脑机接口领域专家教授汇总
精彩长文 | 脑机接口技术的现状与未来！
ICA处理脑电资料汇总
收藏 | 脑电EEG基础与处理汇总
脑机接口BCI学习交流QQ群：903290195
