Instance-Adaptive Graph for EEG Emotion Recognition论文笔记

摘要

• 为解决EEG情绪识别的个体差异与表征EEG不同区域之间的动态关系，提出了实例自适应图方法。

• 为拟合不同的脑电模式，采用额外分支来表征不同脑电通道间的内在动态关系。

• 设计了多级多图卷积和图粗化。

• 提出了一种稀疏图形表示，用于提取更多鉴别特征。

现在模型的弊端

EEG可以直接测量脑电活动，其中包含了丰富的与情绪相关的信息，有助于揭示人类的情绪。

由于脑电数据分布不规则，所以图提供了一种有效的联系方法。

经典CNN及GCNN中使用的图大多基于节点间的一些字然连接或空间位置，不适用于脑电信号。因为脑电信号区域间有着复杂的动态函数连接。

由于个体差异，能量分布、不同情绪状态下的不同功能连接模式都是EEG情绪识别需要考虑的因素。

提出的新模型

为解决上述问题，提出了实例自适应图神经网络框架（IAG），以更灵活的方式建模不同的EEG通道关系。

模型结构：

• 在注意机制的驱动下，利用额外的分支自适应生成邻接矩阵。图形连接有输入数据决定。
• 分支采用左乘矩阵和右乘矩阵分别融合空间信息和频率信息，使其更好地表示脑电图各通道之间的关系。
• 不同频率的脑电信号可能有不同的拓扑关系，定义了一种多层次多图卷积方法，对脑电信号进行建模。
• 图聚类方面，定义了一种基于空间信息，而非特征间距离的脑电图特征提取池方法。

GCNN

GCNN分为空间与光谱方法两大类。

• 空间方法：排序或聚合邻居节点通常用于建模空间关系。
• 光谱方法：通过谱图理论将信号转换为光谱域。

EEG情绪识别步骤

• 特征提取：通常区分的特征是时域特征或频域特征。不用换频段能量特征是识别中的常用方法。
• 分类：用于区分不同情绪的状态

Method

如上为IAG框架。

• 为更好地表征脑电信号的动态图形连接，提出了一个生成图形连接的分支，该分支可以随着输入实例自适应改变。

• 利用图形连接，对脑电图数据进行多层次多图卷积处理，是的信息在不同通道间扩散。

• 为得到更加健壮的特征并降低计算量，对图进行粗化提取，生成与特定区域相关的特征。

• 采用LSTM建立这些区域间的依赖关系，对图粗化后的节点进行建模，获得情绪判别特征向量。

• 将LSTM连接到一个全连接层，并使用softmax输出预测标签。

图邻接矩阵可分解为：
$$A=VJ{V}^{-1}$$
J是块对角矩阵，F是傅里叶变换矩阵。脑电图数据可以通过：
$$\hat{X}=FX$$
进行频域转换，图逆傅里叶变换为：
$$X=F^{-1}\hat{X}$$
给定滤波函数h(·)，滤波过程为：
$$\tilde{X}=h(A)=F^{-1}h(J)FX$$
*h(J)为h(A)*的频率响应图，即
$$h(\hat{A})=h(J)$$

图形连接分支（Instance-Adaptive图连接）

实例自适应分支目的是融合空间信息和频率信息来获得更加有效的图连接。

多层次和多图卷积核

由于在图中CNN卷积核的构造困难，图过滤响应也需同构图结构。重复图卷积操作可以模拟节点之间的高层连接。

不同频段的脑电图信号与人的情绪之间存在着不同的关系，故采用多图法对不同频率的脑电图进行建模。

图粗化

对于脑电信号来说，将特征相近的节点聚类可能会破坏动态特征，从而丢失与情绪相关的有用信息。因此，需要基于脑电图电极空间位置进行池化操作。
$$Z_p=\frac{1}{n_{te}-n_{ts}}\sum _{l=n_{ts}}^{n_{te}}{Y}_l,(p=1,\dots ,n’)$$
Z是图粗化后的节点。

该操作也是计算邻居节点的平均值，可以看作特定区域。

稀疏图示法（Sparse Graphic Representation）

训练过程中，使用交叉熵测量不似性。

实验过程

数据集

SEED

上海交通大学情感脑电图数据库(SEED)记录了15名被试(7男8女)在观看15段中文视频时的脑电图数据。每个视频时长约4分钟。这些视频被用来引出三种类型的情绪，即中立、积极和消极。每个受试者在3个不同的时段重复记录，对应3个阶段，每个阶段包含15个EEG信号的试验。将所有脑电图信号分为1秒样本进行分类。

MPED

MPED多模态生理情感数据库(MPED)包含23名被试(10男13女)的四种生理信号，记录了他们在观看28个电影片段时的七种情绪，即喜悦、滑稽、愤怒、恐惧、厌恶、悲伤和中立。因此，每个受试者有28个脑电图数据试验。在这里，只使用EEG数据进行情绪识别。所有的脑电图信号被分成1秒的样本。将21个脑电信号试验数据作为训练数据，其余7个脑电信号试验数据作为测试数据。

实现细节

设置EEG通道数(n)为62，频带数(d)为5，图卷积阶数(K)为8，变换维数(d’)为32。图粗化时，将原始的62个节点聚类为17个节点。LSTM中隐藏状态和存储单元的维数都设置为64。在我们的损失函数中，权衡参数，即α1，α2，α3，α4和α5分别设为10^-5,10−5,10^−5,10−5和10^−5。学习率设置为0.001。

实验结果

• 实验验证了IAG模型。

• 与最先进方法比较。