010基于CNN-LSTM的EEG-fNIRS混合图像构建与分类-2022

 EEG-fNIRS-based hybrid image construction and classification using CNN-LSTM

社会技术系统中不断发展的人机交互和进步使得通过监测大脑状态来分析重要的人类因素，如脑力劳动、警觉、疲劳和压力，以实现最佳性能和人类安全是至关重要的。同样，在脑机接口(BCI)和神经障碍和运动障碍的闭环神经调节等领域，脑信号已经成为康复和辅助目的的首要目标。脑信号的复杂性、非平稳性和低信噪比给研究人员设计健壮可靠的BCI系统带来了巨大的挑战，以准确地检测实验室环境以外的大脑状态的有意义的变化。在混合环境中使用不同的神经成像模式来提高准确性，增加控制命令，并减少大脑活动检测所需的时间。功能近红外光谱(FNIRS)和脑电(EEG)分别以良好的空间分辨率和时间分辨率测量大脑的血液动力学和电活动。然而，在混合环境中，这两种模式都增强了BCI的输出性能，由于它们的采样率和通道数量之间的巨大差异，它们的数据兼容性仍然是实时BCI应用的挑战。传统的方法，如下采样和信道选择，在使两种模式兼容的同时会导致重要的信息丢失。在这项研究中，我们提出了一种新的基于递归图(RP)的时间分布式卷积神经网络和长短期记忆(CNN-LSTM)算法(CNN-LSTM)用于混合脑机接口应用中的fNIRS脑电信号的综合分类。获取的脑信号首先用RPS投影到非线性维度，然后馈入CNN提取基本特征，而不执行任何下采样。然后，使用LSTM学习时间特征和时间依赖关系来检测大脑活动。该模型的平均准确率分别为78.44%、86.24%和88.41%。最高准确率分别为85.9%、88.1%和92.4%。实验结果证实了基于RP的深度学习算法在成功的脑-机接口系统中的可行性。

脑机接口(BCI)已经成为残障人士不可或缺的要素。它们已成为新的医疗应用的组成部分，并越来越多地应用于通信系统、人机界面(Bai等人，2020年)和神经反馈应用(Mercado等人，2021年)。BCI使人类大脑和外部计算机/设备之间能够通过产生的大脑命令进行通信，从而避免周围神经系统(Antonietti等人，2021年)。此外，脑机接口是一种神经反馈方法，可以提高因四肢瘫痪(Benaroch等人，2021年)、中风(Mane等人，2020年)和其他脊髓损伤(Al-Taleb等人，2019年)而患有严重运动障碍的患者的生活质量。BCI还应用于神经康复、通信和控制、运动治疗和康复、脑监测和神经人体工程学(Asgher等人，2020a，b；Mughal等人，2021)。

BCI分析来自健康受试者的生物信号，以预测他们认知状态的一些无形方面。这一过程通常包括三个主要步骤：根据所选的应用和模式从大脑获取数据，将数据解释或预处理为命令，并输出到计算机以生成命令。在反应性、主动性和被动性脑机接口(PBCI)的三种类型中，pBCI是一个重要的研究领域，它根据大脑对不同情景产生的反应来估计人类的情绪、认知、意图和行为。

随着神经成像方法的进步，对改进传统脑-机接口实践的需求也在增加。BCI的主要非侵入性神经成像方法包括功能磁共振成像(FMRI)、脑电(EEG)、脑磁图和功能近红外光谱(FNIRS)。其中，EEG和fNIR在成本和可管理性方面是最重要的模式(Rahman等人，2020年；Rashid等人，2020年)。EEG通过根据神经元的动作电位计算电压波动来测量大脑活动，而fNIRS则检测与血流动力学反应变化相关的大脑活动(Hong和Zafar，2018；Liu等人，2021)。尽管有创技术提供的数据比非有创技术更准确，但非有创技术更常见，也更受重视在研究领域。脑活动的非侵入性记录技术提高了安全性并减少了伦理问题(Burwell等人，2017；Pham等人，2018)。随着时间的推移，各种非侵入性技术被用于研究。最常用的是EEG、fNIRS、眼电图术和fMRI(Choi等人，2017年)。选择非侵入性医疗器械取决于许多因素。通常，会根据应用程序的需要考虑以下参数：成本、易用性以及时间和空间分辨率。每种模式都比其他模式提供了一些优势，而且总是有一些相关的取舍；一种模式的优点弥补了另一种模式的缺点。因此，混合方法已被证明是更有效的。混合神经成像模式提高了准确性，并提供了更大程度的合理控制(Hong和Khan，2017；Khan和Hong，2017；Hong等人，2018)。

研究人员喜欢使用低成本的神经成像手段(Hong等人，2020)。为非实验室设置提供便利的模式也是令人感兴趣的选择。在这方面，脑电和fNIR是最常用的。与其他选择相比，两者都是便携的，而且价格便宜。

电极捕获脑电信号，因为突触后活动引起神经元产生的电流变化(Sazgar和Young，2019年)。几个电极被放置在受试者的头皮上，用于脑电数据的采集。虽然脑电提供了更好的时间分辨率，范围高达∼0.05s，但它只提供了∼10 mm的空间分辨率(Puce和Hämäläinen，2017年；Fu等人，2020年)。时间和空间分辨率的对比比较显示了使用脑电模式时的权衡。与脑电不同，fNIRS是一种光学成像技术，它通过测量光的吸光度来计算大脑内氧合血红蛋白和脱氧血红蛋白的浓度变化。与EEG类似，fNIRS具有成本效益和便携性。然而，与脑电不同的是，fNIRS提供了更好的空间分辨率。此外，fNIR受电噪声的影响较小(Hasan等人，2020；Ghafoor等人，2022)。通过比较证明，fNIR可以补偿EEG的权衡。因此，EEG和fNIRS混合方法在理论上是神经成像方面的突破(Ahn和Jun，2017)。

当fNIRS测量血流动力学反应时，测量中存在先天延迟(Saeed等人，2020)。

已经提出了各种方法来补偿这种缓慢的命令生成。在这方面，可以使用包括EEG和fNIRS技术的混合方法，该方法通过测量初始DIP[即在神经放电开始时，氧合血红蛋白(HBO)水平首先下降]而不是实际的血流动力学反应来进行(Hong和Khan，2017；Kamran等人，2018)。这两种模式之间的另一个对比差异是数据采样的速度。脑电数据采集速率是∼的10-100倍。当使用EEG和fNIRS混合数据时，通常对EEG数据进行下采样，以使其处理与fNIRS数据的处理兼容(Khan和Hasan，2020；Ortega等人，2020)。

下采样可能会丢弃一些有价值的数据段。

由于EEG信号容易受到电噪声的影响，fNIR会受到生理噪声、仪器和实验误差的影响。

实验误差可能是自发的、无意的偏离预定方案的，例如运动伪影或环境中光线强度的变化。通过基于维纳滤波的方法(酱等人，2019年)或基于小波分析的方法(伊斯拉姆等人，2021年)，可以显著减少数据中存在的运动伪影。检测还会在数据中引入噪声，例如来自硬件的噪声。然而，这些噪声信号是高频分量；因此，可以使用低通滤波器来消除它们。呼吸活动或心跳会产生生理噪音。虽然这些噪声是不可避免的，但已有许多方法被报道来对抗这些噪声；常用的技术包括带通滤波器、参数映射和独立分量分析(Rejer和Cieszy‘nski，2019；Vourvopoulos等人，2019；Wankhade和Chorage，2021)。对数据进行去噪进一步去除了数据区域；因此，处理后的数据在大小上甚至比原始数据更小。因此，在对脑电数据进行预处理以匹配fNIRS数据之后，对EEG数据的下采样去除了大量关于大脑活动的有价值的信息。

RP的递归量化分析(RQA)是近年来用于分析脑活动的一种流行方法，因为大脑信号既是递归的又是动态的。一般说来，RP是一种针对周期性和动态信号的非线性评估方法。它是显示时间信号的状态x(N)在相空间中反复出现的可视化。RQA是一种分析技术，用于量化所构建的RP的特征。在文献中，RQA特征分析已被用于癫痫和阿尔茨海默病的脑电信号检测，癫痫放电脑电的耦合和同步等。利用RP特征分析不同睡眠阶段的大脑皮质功能。RQA分析表明，不同睡眠阶段提取了独特的RP(Parro and V Aldo，2018)。一些研究还使用人工神经网络(ANN)(Torse等人，2019年)和支持向量机(SVMs)(Houshyariar和Amirani，2017；赵等人，2021)对提取的RQA特征进行分类。一项研究使用了四层人工神经网络使用RQA措施预测癫痫发作的不同脑电渠道(Torse等人，2019年)。