（论文加源码）通过构建脑图基于DEAP的情绪识别多任务CNN模型（提取了功率谱密度psd和微分熵DE）

论文和源码：https://download.csdn.net/download/qq_45874683/85088303
（论文加源码）基于deap的脑电情绪识别，构建脑图的二维卷积（提取了功率谱密度psd和微分熵DE）

摘要

       本文提出了一种新的情绪识别模型，该模型以脑图为输入，以唤醒和效价为输出提供情绪状态。脑图是从脑电信号中提取的特征的空间表示。该模型被称为多任务卷积神经网络（MT-CNN），使用微分熵（DE）和功率谱密度（PSD），并考虑0.5s的观察窗口，由四种不同频段的不同波（α、β、γ和θ）的叠加脑图构成。该模型在DEAP数据集上进行训练和测试，DEAP数据集是一个用于比较的著名数据集。该模型的准确度在价态维度上为96.28%，在唤醒维度方面，获得了96.62%的准确率，这项工作表明，MT-CNN的性能优于其他方法。

---

引言

EEG信号能客观地反映多种情绪，是检测真实情绪的可靠方法。

•原始EEG信号易受噪声影响，且难以分析，因此产生高分辨鲁棒特征的问题

•EEG脑图是从EEG信号中提取的特征的空间表示

---

贡献：

•我们提出了一种基于脑图EEG表示的多任务CNN，结合PSD和DE特征

•我们利用正则化方法，使我们能够在更广泛的主题子集上训练模型

•我们利用多任务方法提出了一个单一的情感识别模型，并增加了模型领域的知识

•我们在基准数据集上进行了大量实验，实验结果表明，我们的模型始终优于所有最先进的模型

---

目的:

       本文的主要目的是构建一个进化模型，为科学家未来的研究提供帮助。从作为输入的大脑地图中，我们可以在唤醒维度和价态维度中对情绪进行分类。为此，第一步是通过微分熵（DE）和功率谱密度（PSD）创建脑图。它们与电极位置的空间信息相结合，可以创建多个2D阵列作为所提出方法的输入。基于之前在该领域的工作，输入通过CNN模型传递，选择CNN模型是因为它能够分析空间分布的数据表示，并且计算效率高。

---

框架：

setuptools>=52.0.0
keras>=2.7.0
numpy>=1.19.5
tensorflow>=2.7.0
scikit-learn>=0.24.1
scipy>=1.4.1

---

特征选择：

       选定的特征在情感检测和构建脑图方面非常重要。EEG信号容易受到噪声的影响，因此该特征必须提供有关信号的最佳信息。我们遵循之前工作中描述的方法，其中建立了4D特征结构，包括频率、空间和时间特征。基于之前所做的工作，原始EEG信号被划分为Ts长度段，不重叠以增加数据量。然后将片段分解为alpha、beta、gamma和theta波段。在0赫兹到30赫兹以上的范围内，大脑活动中有五种不同的波，Delta波属于0-4赫兹范围，经常在深度睡眠中观察到；这在清醒人的情绪识别中并不显著。其他描述从放松到大脑高度活动或兴奋状态的波形通常用于使用EEG信号的情绪识别。

       提取每个波段的DE和PSD来描述这些不同的波。PSD描述信号中存在的功率，它是频域中最常用的功能之一，用于实现情感识别，并消除信号的复杂性。然后，从原始EEG信号中提取的每个频带的PSD和DE向量被转换为脑图，以保留电极位置的空间信息。如图所示，脑图是在所有四个频段测量的PSD和DE的2D表示。对于每一个0.5s的窗口，所有波段和特征的大脑图都会被创建并深度叠加。每个脑图都是模型的输入，高度h=8，宽度w=9，深度d=8。

---

模型

       这项研究利用了一个fully convolutional卷积的体系结构，因为它能够推理像图像一样的数据，并且这种体系结构的GPU学习过程高度优化。图显示了所提出的全CNN多任务神经网络的总体结构。该模型的输入是一个脑图，它是EEG信号的空间谱表示。该模型由四个二维卷积层、一个完全连接层以及上述每个层之后的dropout和批量归一化层组成。最后，输出到两个流：前者用于分类受试者的配价水平，后者用于唤醒水平。ReLU用作激活功能。分类层使用一个sigmoidal函数来获得类似概率的输出。对模型进行了收敛性训练

---

训练过程

       在最新研究中，在训练过程中，只有特定于受试者的数据子集被用来最大限度地提高情绪识别的表现。众所周知，为了提高深度学习模型的泛化能力，需要大量的训练数据集。但是，由于EEG数据中的高度跨学科可变性，使用受试者进行训练会导致模型性能的退化。为了在训练过程中利用广泛的主题，我们在研究中使用了人工神经网络的正则化方法，包括dropout、批量归一化和学习率指数衰减。

       最终模型的性能定义采用五次交叉验证法。在每个分区中，122880张大脑地图用作训练集，30720张用作测试集。模型采用反向传播法进行训练。交叉熵损失被用作成本函数。最后的模型使用多任务学习原理进行训练。多任务学习是一种使用单个模型或其一部分来解决多个问题的方法。因此，同时解决不同的任务有利于模型的泛化。 此外，这种方法允许在训练和推理过程中节省计算资源，因为在一次过程中，模型会同时针对多个任务进行训练。在这项研究中，我们处理两项任务：效价分类和觉醒水平。最终损失函数是原始损失函数的加权和，然后可以使用反向传播方法来解决问题。它可以表示为：

 最终模型的性能定义通过五次交叉验证方法确定。通过以下训练超参数训练模型收敛：

       本实验中使用的模型受4D-CRNN模型（之前的博客介绍过）的启发。最初，模型的输入数据具有4D结构X∈ R h×w×d×T，深度d=4，代表以DE为特征的四个波段。在本文中，对前面介绍的更改进行了修改，以最终获得3D大脑地图，表示每0.5s记录的信号X的PSD、DE和电极的空间位置∈ R h×w×d，深度d=8表示四个波段，但包括DE和PSD作为特征。结果结构被简化，以便更快地学习。通过移除RNN层，这些输入用于为简单的CNN结构提供信息。如图显示了每次修改对模型性能的影响。

不同的模型的比较：

       我们将该模型与现有的基于脑电信号或脑图的情绪识别模型进行了比较。仅使用DEAP数据集进行比较，以进行有意义的比较。表二给出了每种方法的效价和唤醒准确度的比较。该模型的准确度在价态维度上为96.28%，比Multi-column CNN高出6.27%、比SAE-LSTM高出15.18%、比4D-CRNN高出2.06%的，比FBCCNN高出6.02%的。在唤醒维度方面，获得了96.62%的准确率，在其他模型方法分别高出5.97%、22.24%、2.04%和7.72%。

---

 讨论

       本文提出了一种基于脑图的情绪识别新方法。上述对比分析表明，我们提出的方法比其他方法获得了更好的性能。

       首先，电极的位置包含分析的重要信息。如4D-CRNN一样，空间特征与其他特征的结合可以定义为大脑地图。这样，在模型中传递脑图比直接使用EEG信号可以得到更好的结果。4D-RCNN模型也基于脑图，但结果比我们的模型差，配价和觉醒分别为94.22%和94.58%，而多任务CNN分别为96.28%和96.62%。这可以通过在DE中添加特征PSD来解释，而不是只使用DE，并在训练期间利用正则化。

       通常，使用EEG信号或脑图的情绪识别模型使用特定的主题方法。本文提出的方法表明，基于整个数据集，所有被试同时进行，使用结构简单、对图像表现良好且快速的CNN，我们比文献中提出的其他方法获得了更好的结果。最后，在本文中，该模型是一个单一的配价和唤醒分类任务。该模型以多任务方式训练，只允许有一个模型来预测效价和觉醒，而不是像其他方法那样有两个模型。

---

结论

       这篇文章的主要目的是利用脑图创建情绪识别模型。如前一节所述，该模型基于从脑电信号（如DE和PSD）中提取的不同特征。表二告诉我们，这种方法比以前的方法提供了更好的结果。该方法在不考虑使用精度较低的设备实时记录的脑电信号的情况下，显示了记录的高质量脑电信号的结果。它给出了配价和唤醒的结果，而不是作为一种情绪，然而，仍然可以考虑模型改进。

       事实上，我们看到，添加由PSD功能创建的脑图，比仅使用由DE功能创建的大脑地图效果更好。因此，我们可以在现有特征的基础上添加新的特征，比如标准差。另一种方法是使用比我们现在使用的数据多得多的数据来训练和测试模型。跨数据集方法将允许将模型推广到实际问题。最后一个可以显著提高情绪识别性能的改进是使用多模态方法。例如，与使用EEG信号提取特征相比，同时提取个体面部的视频将允许组合不同的模型，并为我们提供一种有效的多模态情感识别方法。

论文和源码：https://download.csdn.net/download/qq_45874683/85088303

（论文加源码）基于deap的脑电情绪识别，构建脑图的二维卷积（提取了功率谱密度psd和微分熵DE）