阅读笔记3：基于深度学习的运动想象脑电信号分类算法研究

1.论文信息

• 题目：基于深度学习的运动想象脑电信号分类算法研究
• 作者佟歌
• 单位：哈尔滨工程大学控制科学与工程
• 发表时间：201803

2.笔记

2.1 脑电信号采集及预处理

2.1.1脑电信号分析方法

传统分析方法主要从四个方面入手：时域分析、频域分析、时频分析、空域分析

时域分析：EEG 的全部信息都包含在采集到的时域波形中，因此时域分析是最为直观的方法，通常用来对脑电信号的幅值，周期等信息进行初步分析。该类方法的优点在于可以直接从时域提取有用的波形特征，简单方便而且不需要对脑电信号进行平稳性假设。常见的时域分析方法包括：幅值、方差、周期分析、直方图分析、过零点分析方法等，这些方法可以清晰直观地表达波形特征，在长时间的睡眠脑电信号分析中得到了较为广泛的应用。

频域分析：时域分析方法虽然得到了一定的应用，但是脑电信号的特征主要还是来自频域与空域。频域分析方法的基础是功率谱估计，该方法将幅值随时间变化的时域 EEG 信号转化为功率随频率变化的频率图谱，在脑电分析中占有非常重要的地位。通过计算功率谱密度（Power Spectral Density, PSD）可以直观的看出脑电信号中δ波、θ波、α波、β波、γ波的分布与变化情况，对 EEG 信号的能量特征进行突出展现。谱估计分为参数估计和非参数估计，其中参数估计包括基于 AR 模型的功率谱估计和基于 AAR模型的功率谱估计等，该方法假设信号是由某种函数形式已知的模型产生，通过对模型的参数进行估计并从中得到谱特性[59]，非参数估计主要是以傅里叶变换为主的周期图法，相关图法等。

时频分析：在频域分析中，一旦将信号由时域转向频域，原时域信号中的趋势，突变，事件的开始结束等特征就被全部丢掉了，而时频分析方法综合了时域分析与频域分析，是一种可以更全面分析脑电信号的方法。目前被广泛应用的时频分析方法主要是小波变换、小波包变换。小波变换具有多分辨率特性，无论时域还是频域都具有良好的分辨率，是一种分析非平稳过程的有效方法，而小波包变换则是比小波包变换更加精细的信号分解与重构方法。由于 EEG 信号也具有非平稳性，非线性的特点，因此无论是小波变换还是小波包变换方法都非常适用于 EEG 信号的分析.

空域分析：在脑电信号的采集过程中，通常会将几十个导电极放置在大脑的不同位置。如果研究这些不同位置的导电极所记录的脑电信号之间有什么关联，就要使用空域分析法。典型的空域分析方法有共同空间模式法和独立分量分析法。共同空间模式算法通过构建空间滤波器，使得不同类别的脑电波在该滤波器上投影的能量分布差异最大化来完成 EEG 信号的空间特征提取。独立分量分析算法将原始信号分解成不同的独立子分量，不仅可以应用于 EEG 信号空间特征的提取，还可以应用于眼电伪迹的去除工作。

2.1.2脑电信号预处理

• 首先进行直观的时域分析

在这个过程中通过观察不同次数的实验中各个导电极的平均电压，可以粗略的对该 EEG 信号的有效性进行判断。如果某次实验所采集的 EEG 与多数实验中的 EEG 数据有明显幅值或者频率上的差异，则可以认为该EEG 数据在采集过程中发生了异常，属于无效样本。

• 然后对信号进行频域分析

采用周期图法进行功率谱估计

• 采用小波分析法对 EEG 信号进行降噪与重构，小波分析建立在傅里叶分析的基础上并对其做了改进，使之具有更好的时频窗口特性适用于非平稳信号的分析。

2.2基于深度学习的脑电信号分类算法研究

2.2.1卷积神经网络

卷积神经网络之所以取得如此骄人的成绩，主要得益于算法中的两点创新：新的激活函数Relu和卷积网络

以 Relu 作为激活函数，主要有以下几点优势：

(1) 与 sigmoid 和 tanh 相比，relu 函数是线性的，计算代价小，收敛速度大约可以加快 6 倍。
(2) 由于 sigmoid 和 tanh 函数具有饱和性，当输入过大或过小时这两个激活函数的导数趋于 0，会导致梯度消失现象使网络无法训练，而 relu 函数的导数为 1，有效的避免了梯度消失的问题，使研究者可以构造更深层的网络。
(3)relu 函数使一部分神经元的输出为 0，减少了参数之间依赖关系并防止过拟合现象的发生。该函数产生的稀疏性从生物方向解释也与人脑十分符合，人脑工作时只有 5%左右的神经元被激活，而 relu 函数可以降低神经元的激活率。

卷积网络
卷积网络充分利用了图像像素在不同位置的相关度差别，采用了局部感受野，权值共享和下采样三种方式，为图片识别问题提供了有效的解决方案.

局部感受野：对于图片中的像素点来说，位置相邻近的像素之间关系较大，位置相距较远的像素之间关系较小，因此完全没有必要将神经元与输入图像中的每一个像素相连接。只需要对前一层的局部进行连接，分块扫描提取特征，然后在更深的层次将局部的特征综合起来就得到了全局的特征。这个过程与视觉过程极为相似，在人类的视觉系统中，每个神经元对应一部分视觉域，在卷积模型中是每个卷积核只与前一层的部分神经元相连，提取一个局部特征。
权值共享：通过局部感受野方式进行神经元之间的连接已经将参数减少了很大一部分，权值共享则可以进一步减少参数的数量。以 1000x1000 像素的输入图片为例，如果第一层卷积核大小取10x10，权值共享的含义是指卷积核上 10x10 的权值对1000x1000 个输入层神经元是一样的，即权值的参数只有 100 个，在某个位置上训练好的权值，在其他位置依然有效。
降采样：理论上，通过卷积核提取到的特征可以被直接用于分类器的训练，但是这样得到的特征向量维数过高不利于训练，而且容易产生过拟合现象。卷积网络提出了在卷积之后加入降采样的处理过程，对不同位置的特征进行聚合统计。该过程也被称
为池化，不仅可以对特征进行降维提高训练效率，还可以起到防止过拟合现象的作用。具体的池化方法有最大池化，平均池化等。最大池化只保留池化窗口的最大值，平均池化则保留池化窗口的平均值

CNN同样也可以适用于脑电信号的特征提取和分类。

(1)由于卷积神经网络模型是针对以图片作为输入的问题提出的，因此该模型的结构十分有利于对二维或多维矩阵形式的输入进行特征提取与分类。课题采集的脑电信号是二维矩阵型数据，在输入上满足卷积神经网络的输入形式。利用卷积网络不仅解决了脑电信号维度过高导致的训练困难问题，而且充分发挥了脑电信号是二维矩阵的形状优势，网络模型结构十分清晰。

(2)卷积网络采用局部感受野的方式解决网络的参数数量过多问题，采用该方法的前提是图片中的像素具有相距越近关系越大，距离越远关系越小的特点。如果把大脑皮层看作图片，安置在皮层上的电极所采集到的电压看作像素，那么脑电信号拥有和图片像素类似的位置关系特点，因此卷积网络中局部感受野的方法可以用于脑电信号的处理而不会丢失特征。

(3)卷积神经网络所采用的权值共享策略使得该网络具有平移不变性的特点，表现在图片上即为当对一幅图片进行平移操作后，虽然提取到的特征位置发生了变化，但是网络依然可以正确的识别出该图片。表现在脑电上即为如果采集所用的电极帽没有戴正导致导电极分布位置有偏差或者由于受试者反应慢，采集设备不够灵敏等因素造成了时移并不会影响脑电信号的分类结果。这一点与实际需求相符，因此卷积网络中的权值共享策略也适用于脑电信号的处理问题。

(4)卷积网络中的池化层降低了卷积层所提取到的特征维数并对图像不同位置上的特征进行聚合统计。根据平均池化的计算原理可知该方法使得网络具有一定的扭曲不变性，即对输入图片进行一定量扭曲操作并不会影响对该图片的识别。而脑电信号具有噪声高，随机性强等特点，不同人的运动想象 EEG 信号甚至同一人在不同时间的运动想象 EEG 信号每次都不同，池化操作可以在一定程度上过滤噪声并增加算法的鲁棒性。

2.2.2循环神经网络

主要使用了RNN中的长短期记忆网络（LSTM）
长短期记忆网络(LSTM)之所以取得如此骄人的成绩，主要得益于算法中的两点创新：权值共享，细胞状态与门结构。

长期短期记忆网络模型强调了时间序列的重要性，适用于各种时序特征的提取问题。虽然根据运动想象过程中所发生的 ERD/ERS 现象的描述，理论上该特征更多的表现在频域与空域之中，但脑电信号毕竟是一种时序信号，随着时间的推移 ERD/ERS 现
象的分布及强度也会发生一定变化。

2.2.3 实验结论分析

结论：

• 无论是整体训练还是将不同受试者分别训练，CNN 分类器的效果都优于 LSTM 分类器
• 无论 CNN 分类器还是 LSTM 分类器，采用不同受试者分别训练的方式分类准确率都比整体训练时效果好，但 CNN 分类器在两种情况下的效果差异较LSTM 分类器更大
• 本文所设计出的两个深度学习网络在单名受试者分类准确率上较传统分类方式均没有优势，但在对 5 名受试者的 EEG 数据一起进行训练时，深度学习中的 CNN 算法取得了64%的平均准确率，虽然依旧不高，但是可以证明该网络具有对不同受试者产生的脑电数据提取共性特征的能力。

大胆的推测:

• LSTM上的分类问题表现不佳的原因可能是： 网络设计不够好，对数据没有进行有效的预处理，预处理方式错误，数据量不足等，或者可能是因为脑电信号的特征本身与时间的关系不大。

虽然受试者想象的过程是时序的，但是最初以想象左右手运动的方式进行脑电分类的原理是：想象过程中ERD/ERS 现象引起的脑电波能量分布区域及强度改变。即想象右手运动时，左脑区域能量增强，右脑区域能量减弱；而想象左手运动时，刚好相反。这两种特征是主要是频域特征与空域特征，时域特征相对较弱，因此 LSTM 算法在训练的过程中学习到的时序特征分类效果没有 CNN 算法学习到的空域特征效果明显.

• 对于 LSTM 分类器将受试者分别训练时的分类准确率与将全部受试者一起训练时的分类准确率相比并没有明显提升，而 CNN 分类器在这两种方式下的准确率却相差较大的现象，本文推测脑电信号的频率特征和空域特征可能会因为不同受试者大脑形状不同，思维方式不同，脑活跃部位不同等多种因素影响而差异较大，即单人网络的CNN 提取的脑电信号特征有因人而异的特点，而脑电信号的时序特征则较为固定不受上述因素的影响，在不同受试者之间差别可能较小。
• 对于卷积神经网络可以将不同受试者的数据一同训练是因为深度学习的本质是在海量数据中寻找共性对其进行拟合，因此即便不同受试者进行运动想象的特征之间存在个体差异，多人网络的 CNN 也能从中找到共性，提取到更具有普遍意义的ERD/ERS 特征。

2.3 综合时-频-空域特征的脑电信号分类算法研究

CNN和LSTM进行信号分类的结果相比本实验中其他结构的网络相比准确率更高，但是与传统分类方法相比却没有很高的优势。但是它也有自己的优势：

• 第一，深度学习算法简化了分类器设计的步骤。传统方式对脑电信号的处理流程通常为：降噪、去除眼电伪迹、选择通道、特征提取、构造分类器。而深度学习方法在降噪后直接进行分类器的设计避免了手动提取特征时依靠经验和运气的问题，具有较高的运行速度。
• 第二，由于脑电信号因人而异的特点，不同受试者的个人因素相差较大，其产生的 EEG 信号也有很大差异，传统方法可以针对不同受试者分别设计分类器，但是深度学习方法却可以从这些差异较大的样本中找到共性的特征。

CNN在脑电信号上的分类效果没有在图片上的好有多种可能的原因，比如样本数量不够大、网络复杂度较为简单、采集的 EEG 信号不同于图片，它的横轴、纵轴两个维度含义不同，而且这种形式的脑电信号由于电极排列序列被打乱，已经破坏了原有的空间特征等等。

深度学习可以展现出准确率上的优势的基础就是有足够充足的数据量。但是要想在单名受试者身上得到可以训练复杂神经网络模型的数据集是不现实的，因此本章从算法的角度，采用了一种综合时域、频域、空域的处理方法，该方法将脑电按电极位置转化为功率谱图，解决了原始脑电信号丢失空间特征的问题并统一了脑电信号两个维度的含义，然后将 CNN 和 LSTM 算法结合使用，试图通过提取更加充分的特征，提高单名受试者的运动想象脑电信号分类准确率。

• 采用CNN结构进行EEG分类时，仅对脑电信号中的频域特征保留较完整，损失了EEG中小部分空域特征，忽略了EEG中大部分时域特征。
• LSTM对脑电进行分类时，重点关注了脑电信号电压随时间变化的时域特征，但是忽略了不同导电级所表示大脑皮层不同位置的空间特征。

由此设计一种新的网络结构：

该方法首先将某一时段内采集的皮层 EEG 电压信号转化为一张脑电功率图，通过该步骤解决了原始 EEG 信号两个维度含义不同的问题，处理后的脑功率图横纵坐标对应于电极帽安放于大脑皮层的位置，完全保留了 EEG 的空间特征，脑电功率图像中的像素点对应于大脑皮层在该位置处 6.5-23Hz 内的功率谱，保留了 EEG 信号中与运动想象相关的频率特征。将所有的 EEG 数据按时序转化为一系列脑电功率图后，将这些图片输入到待训练的 CNN 网络提取空间和频率特征，再将 CNN 提取的特征按序输入到LSTM 网络，提取频率和空域特征随时间的变化，即 EEG 的时序特征。

2.4新挑战

• 训练样本不够
• 如何将深度学习领域额网络模型有效的应用到脑电信号的分类问题上
• 目前深度学习算法这一新兴领域还没有完整的调参理论
• 将 BCI 设
  备投入到人们的日常生活中使其有更广泛的应用价值