基于深度学习的SSVEP分类算法简介

1、目标与范畴

稳态视觉诱发电位（SSVEP）是指当受试者持续注视固定频率的闪光或翻转刺激时，在大脑枕-额叶区域诱发的与刺激频率相关的电生理信号。与P300、运动想像（MI）和其他脑电图信号相比，SSVEP具有更高的信噪比，可以产生更高的ITR，使其成为长期以来最有前途的脑电图范式之一。然而，传统的信号处理算法在解码SSVEP信号时依赖于手动特征提取，在各种极端情况下（数据长度短、刺激数目多、校准数据量小）性能较差，无法满足行业的实际需求。深度学习技术作为人工智能的主要研究分支之一，已被应用于计算机视觉、自然语言处理、推荐系统等各个领域的研究。由于其强大的特征表达能力和极高的灵活性，它颠覆了这些领域的算法设计思想，并取得了显著的成果。

近年来，随着深度学习技术在脑机接口领域的各个方面都具有不错的应用前景，并取得了十分可观的实验效果，从而逐渐受到脑机接口领域研究人员的青睐。SSVEP-BCI系统的研究者们也把握了这个时代机遇，开始尝试探索使用深度学习技术研发SSVEP频率识别算法。因此，本文致力于追踪与介绍前沿研究者们提出的基于深度学习的SSVEP信号识别方法，并提供复现他们模型的Python实现代码。复现的方法包括EEGNet^1-2、C-CNN³、FBtCNN⁴、ConvCA⁵、SSVEPNet⁶和SSVEPformer⁷。代码里使用了Nankanish Masaki在Github上提供的12分类公共数据集⁸评估模型性能。

2、深度学习的算法介绍

• EEGNet: EEGNet是一种专门为处理脑电信号数据而设计的卷积神经网络模型，它接收时域脑电数据作为网络输入。EEGNet由4层组成。第一层是卷积层，用于模拟对每个通道数据进行的带通滤波操作。第二层是空间滤波层，通过深度卷积对每个通道的数据进行加权。第三层是用于提取类别信息的独立卷积层。第四层是用于分类的完全连接层。自提出以来，EEGNet已被用于各种脑电任务，如运动图像、P300、SSVEP等 ^1-2。
  

• CCNN: CCNN也是一个卷积神经网络模型。不同的是，C-CNN使用富含振幅和相位信息的频域数据作为网络输入。值得注意的是，为了获得网络的输入，CCNN使用了基于填充的FFT算法，该算法可以获得任何数据长度的220个数据点，包括110个实部数据和110个虚部数据。CCNN网络结构由两个卷积层和一个完全连接层组成。第一卷积层是空间滤波层，第二卷积层是时间滤波层，全连接层用于分类。CCNN的出现表明光谱数据有利于SSVEP的分类³。
  

• FBtCNN: 对于SSVEP频率识别过程中，在频域输入的范式下，短期窗口下的特征可能不明显，每个通道的时间差异可能被忽略。考虑到谐波信息中嵌入了大量关于频率识别的有效信息，研究人员提出了一种基于滤波器组技术的CNN架构，称为FBtCNN。FBtCNN使用时域信号作为网络输入，并使用滤波器组融合来自不同频带的特征信息，以提高网络的分类性能⁴。
  

• ConvCA: 从不同电极通道收集的SSVEP信号彼此具有非线性关系，因此来自多个通道的EEG信号的线性组合可能不是对SSVEP进行分类的最准确的解决方案。为了进一步提高SSVEP-BCI的性能，研究人员提出了一种基于CNN的非线性相关分析网络，称为ConvCA。ConvCA有两个分支，一个是将多通道脑电图信号降级为单通道脑电图信号的信号网络，另一个是把多通道参考信号解释为单通道参考信号的参考网络。ConvCA通过分析信号网络输出和参考网络输出之间的相关性来完成SSVEP的分类过程⁵。
  

• SSVEPNet: SSVEPNet是卷积神经网络和长短期记忆网络的混合网络模型，接受时域数据作为网络输入。SSVEPNet由三部分组成：卷积神经网络、长短期记忆网络和全连接网络。其中，CNN用于提取脑电的时空特征，双向LSTM用于基于时空特征之间的依赖性进行编码，由三个全连接层组成的全连接网络用于最终分类。此外，为了抑制网络训练过程中可能出现的过拟合，在网络实现过程中结合了频谱归一化和标签平滑技术，进一步提高了模型的泛化能力。即使只有少量的校准数据，SSVEPNet仍然可以实现非常好的分类性能，并且这一特性已经在4类、12类和40类数据集上得到了验证⁶。
  

• SSVEPformer: 基于注意力机制的Transformer已被应用至计算机视觉、自然语言处理等多个领域，并取得了举世瞩目的成果。近年来，Transformer也逐渐被引入至脑电信号的解码分析中来，揭示了Transformer应用至SSVEP-BCI系统的潜在可能性。正愁于当前SSVEP解码算法依赖于大量的被试校准数据，研究者们提出了基于Transformer的SSVEP分类网络SSVEPformer以实现零校准高性能网络。SSVEPformer与C-CNN的网络输入一致，使用频域信号作为输入，并结合CNN与MLP网络完成Transformer的特征编码与注意力学习过程。SSVEPformer可以在跨被试实验中取得十分可观的分类性能，显著优于其它分类网络。此外，结合滤波器组技术，研究者们提出了改进版网络FB-SSVEPformer，以进一步地提升网络性能。

所有深度学习模型的实现代码: https://github.com/YuDongPan/DL_Classifier

3、参考文献

---

1. Lawhern V J, Solon A J, Waytowich N R, et al. EEGNet: a compact convolutional neural network for EEG-based brain–computer interfaces[J]. Journal of neural engineering, 2018, 15(5): 056013. https://iopscience.iop.org/article/10.1088/1741-2552/aace8c/meta ↩︎ ↩︎

2. Waytowich N, Lawhern V J, Garcia J O, et al. Compact convolutional neural networks for classification of asynchronous steady-state visual evoked potentials[J]. Journal of neural engineering, 2018, 15(6): 066031. https://iopscience.iop.org/article/10.1088/1741-2552/aae5d8/meta ↩︎ ↩︎

3. Ravi A, Beni N H, Manuel J, et al. Comparing user-dependent and user-independent training of CNN for SSVEP BCI[J]. Journal of neural engineering, 2020, 17(2): 026028. https://iopscience.iop.org/article/10.1088/1741-2552/ab6a67/meta ↩︎ ↩︎

4. Ding W, Shan J, Fang B, et al. Filter bank convolutional neural network for short time-window steady-state visual evoked potential classification[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2021, 29: 2615-2624. https://ieeexplore.ieee.org/abstract/document/9632600/ ↩︎ ↩︎

5. Li Y, Xiang J, Kesavadas T. Convolutional correlation analysis for enhancing the performance of SSVEP-based brain-computer interface[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2020, 28(12): 2681-2690. https://ieeexplore.ieee.org/abstract/document/9261605/ ↩︎ ↩︎

6. Pan Y, Chen J, Zhang Y, et al. An efficient CNN-LSTM network with spectral normalization and label smoothing technologies for SSVEP frequency recognition[J]. Journal of Neural Engineering, 2022, 19(5): 056014. https://iopscience.iop.org/article/10.1088/1741-2552/ac8dc5/meta ↩︎ ↩︎

7. Chen J, Zhang Y, Pan Y, et al. A Transformer-based deep neural network model for SSVEP classification[J]. Neural Networks, 2023, 164: 521-534. https://www.sciencedirect.com/science/article/abs/pii/S0893608023002319 ↩︎

8. Nakanishi M, Wang Y, Wang Y T, et al. A comparison study of canonical correlation analysis based methods for detecting steady-state visual evoked potentials[J]. PloS one, 2015, 10(10): e0140703. https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0140703 ↩︎