【基于深度学习的脑电图识别】综述篇（一）：Deep learning-based electroencephalography analysis: a systematic review

未经作者允许，本文禁止转载

摘要：

脑电图(EEG)是一个复杂的信号，一个医生可能需要几年的训练并利用先进的信号处理和特征提取方法，才能正确解释其含义；

而如今机器学习和深度学习的发展，表明它们在从原始数据提取特征并分类方面有很大的潜力，因此这篇综述回顾了从 2010 年到 2018 年的 156 篇将 DL（Deep Learning，深度学习）应用在 EEG 的文章，这些论文涵盖了不同的应用领域，如枕测、睡眠、脑机接口、认知和情感监测，并从大量的文献中提取趋势并突出有趣的方法，以便为未来的研究提供信息并制定建议；

这篇综述将分析每个项目的：1)数据、2)预处理方法、3)DL设计选择、4)结果和5)实验重现性；

分析：

文中分析显示，不同研究中使用的脑电图数据的数量从不到 10 分钟到数千小时不等，而一个网络在训练期间训练的样本数量从几十个到数百万个不等；

超过一半的研究使用了公开的数据，而且在过去的几年里，研究方法也有明显的转变，从主体内研究转向了主体间研究；

约 $40\%$ 的研究使用了卷积神经网络(convolutional neural networks, CNNs)， $14\%$ 使用了递归神经网络(neural networks, RNNs)，最常见的有 $3-10$ 层。此外，几乎一半的研究将他们的模型训练成原始或预处理的脑电图时间序列；

最后，在所有相关研究中，DL 方法相对于传统基线的准确率的提高均值为 $5.4\%$；

文章中也注意到存在再现性差的问题：由于缺乏数据和代码，大多数论文将很难或不可能再现；

EEG 信号分析：

脑电图(EEG)是脑神经细胞电生理活动在大脑皮层或头皮表面的总体反映 ，包含了大量的生理与疾病信息，有如下特点：

1. 时间敏感性：由于现代检测设备的进步，能够在在毫秒时间尺度检测微小的电信号；
2. 空间模糊性：脑电图的空间分辨率较低，因为大脑产生的电场被位于源和传感器之间的组织（如颅骨）给引入了噪声，因此，脑电图通道在空间上往往高度相关；

因此源定位问题，或称反定位问题，是一个活跃的研究领域，在此领域中研究者开发了一些算法来重建给定脑电图记录的大脑信号源；

EEG 的应用：

EEG 有许多应用，例如：

在临床环境中，脑电图通常用于研究睡眠模式或癫痫；

不同的情况也与脑电活动的变化有关，因此可以用脑电图在不同程度上进行监测，其中包括注意缺陷多动障碍(ADHD)、意识障碍、麻醉深度等；

认知和情感监测等应用也是非常有前途的，因为它们可以无偏倚地测量，例如，一个人的疲劳程度、精神负荷、情绪或情感；

最后，脑电图被广泛应用于脑-机接口(BCIs)——绕过大脑自然输出通路的交流通道——以使大脑活动直接转化为影响用户环境的指令；

当前 EEG 处理的困难点：

1. 低信噪比：EEG 的信噪比（SNR）比较低，测量大脑的活动信号时通常会混有多种来源的环境、生理和活动特异性噪声（振幅类似或更大），这些噪声被称为“伪信号”；
2. 非平稳信号：它的统计数据随时间而变化，因此，对有限时间的用户数据进行训练的分类器可能不适用于同一个人在不同时间记录的数据，这对于 EEG 在现实生活中的应用是一个重要的挑战，因为它通常需要处理有限数量的数据；
3. 高受试者间特异性：这一现象的出现是由于个体之间的生理差异造成的，个体之间的生理差异虽然大小不同，但却会严重影响旨在对受试者进行归纳的模型的性能；

为了解决上面提到的一些问题，通常使用特定领域的处理方法，比如基于黎曼几何的分类器和自适应分类器能够成功地处理这些问题；

但是对于每个应用，大多数常见的实现都需要特定于领域的处理方法，这进一步降低了当前基于 EEG 技术的灵活性和泛化能力；

用深度学习改进 EEG 处理：

深度学习能够对预处理、特征提取和分类模块进行端到端的自动学习，同时在目标任务上达到有竞争力的表现，因此作者在这里研究了深度学习方法应用到 EEG 处理的例子；

对于深度学习模型，数据处理方法如下：

即一般采用滑窗的形式截取多通道数据，得到输入数据 $X_i\in R^{c\times l}$，其中 $c$ 是通道数，$l$ 是滑窗的长度，也可以将数据进行预处理或特征提取（如视频变换），得到 $X_i^{{}^{\prime }}$；

对于不同的深度学习模型，主要分为三类：全连接神经网络（FC）、卷积神经网络（CNN）和循环神经网络（RNN），可以用来进行监督学习；

此外，在监督学习之外，可以构建其他体系结构和学习策略来训练没有可用标签的模型，例如自编码器（Autoencoders，简称 AE）和生成对抗网络（Generative adversarial networks，简称 GAN）；

具体分析如下：

1. DNN 的时序性意味着可以在原始数据或最小程度预处理的数据上学习特征，从而减少了对特定领域处理和特征提取器的需求，并且通过 DNN 习得的特征也可能比我们自行设计的特征更有效或更有表现力；
2. 生成模型和迁移学习在 EEG 方向研究较少，而生成模型可以用来学习中间语义特征或用于数据扩充，在转移学习中，模型参数也可以从一个主题转移到另一个主题，或者从任务 A 转移到任务 B，这可能会极大地扩展或改变几种基于 EEG 的技术的适用性；

作者也分析了深度学习在 EEG 上应用可能存在的问题：

1. 典型的 EEG 研究数据集所包含的样本要比导致当前深度学习广泛应用的领域（如计算机视觉和自然语言处理）的数据集少得多，数据收集相对昂贵，而且数据可访问性经常受到隐私问题的阻碍（特别是临床数据），公开获取类似大小的数据集并不常见；
2. 脑电图的特点，如低信噪比，使脑电图数据与其他类型的数据有很大的不同，因此，当前深度学习中使用的架构和应用可能并不适用于 EEG 处理；

使用的术语：

1. Point 或者 Sample：通过 EEG 传感器测量的瞬时点位，单位是 $\mu V$；
2. Example：作为机器学习模型的输入，通常用 $x_i$ 表示；
3. Trial：正在研究的任务的实现，例如，在可视 ERP 范例中显示一个图像；
4. Window 或 segment：提取一组连续的 EEG 样本进行进一步分析，一般在0.5到30秒之间；
5. Epoch：围绕特定试验提取的窗口；

综述的目标：

本文通过对大量最新研究成果的分析，对基于动态分层的脑电信号处理的研究现状进行了系统的综述，为熟悉传统脑电图处理技术的研究人员和有兴趣将深度学习应用于其数据的研究人员提供了该领域的概述；

同时，它的目标是将深度学习应用于脑电图研究领域介绍给对扩展他们的算法基准数据类型感兴趣的研究人员，或者希望为脑电图研究做出贡献的研究人员；

本综述还提供了关于 DL-EEG 模型各组成部分的详细方法学信息；

除了报告趋势和突出有趣的方法外，本文还将文中的分析提炼为一些建议，以期促进该领域的可再生产和有效的研究；

（剩下的具体方法会在下一篇分析）