基于图卷积（GCN）和规则卷积（CNN）的情绪识别

 

 

 

引言

 

论文动机

 

脑电信号因其易辨伪性、准确性高而被广泛应用于情绪识别。如何描述脑电信号与大脑活动区域之间的关系以及构建脑电情绪识别模型仍然是基于脑电图数据的情绪识别具有挑战性的课题。

 

基于以往的研究内容可知，CNN 可以利用卷积核提取抽象高层次特征，适用于 1D，2D，3D 规则网格数据。但是脑电通道的分布结构是不规则的，脑电数据并不是规则的欧几里德结构数据。

 

图卷积对非欧几里德结构数据处理有极大优势，仅需几个层就足以学习图结构的拓扑特征，但是过多的图卷积层可能得不到更多的辨别能力的特征。本文提出了一种兼顾抽象深层特征和拓扑特征的提取方法。

 

论文工作

 

本文设计了一个图卷积宽度网络（GCB-Net）来研究脑电图结构数据更深层次的信息。它利用图卷积层来提取图结构输入的特征，并叠加多个规则卷积层来提取相对抽象的特征。最后的连接使用了广义的概念，保留了所有层的输出，允许模型在广阔的空间中搜索特性。为了提高 GCB-Net 的性能，应用了广义宽度系统（BLS）来增强其特性。

 

GCB-Net知识基础

 

图卷积神经网络

 

▲ 图1. 图卷积框架

 

在图 *G 上，x 和 y 两个信号的卷积表示为：

 

 

U 是图的拉普拉斯矩阵 L 的特征矩阵，⊙ 表示 hadamard product，对于两个向量，就是进行内积运算；对于维度相同的两个矩阵，就是对应元素的乘积运算。 

 

将卷积核的图傅里叶变换以对角矩阵的形式表示，其中是对角矩阵，其对角线元素是拉普拉斯矩阵 L 的特征值。

 

 

则信号 x 经过卷积核的卷积输出 y 可表示为。 

 

让表示要学习的最优邻接矩阵，信号 x 的图卷积输出为。 

 

采用 K 阶切比雪夫多项式（Chebyshev polynomials）来代替卷积核的图傅里叶变换，以简化计算复杂度。基于 K 阶切比雪夫多项式，可以近似为：

 

 

SP-Length 表示从一个节点到另一个节点必须遍历的最小边数。

 

 

其中，为切比雪夫多项式系数，是标准化的，标准化后，其对角线元素取值在 [-1,1]，为中最大的元素，是 N 阶单位阵。可按以下递推公式计算得到：

 

 

即有：

 

 

其中，。

 

上式表示计算 x 的图卷积可以表示为 x 与切比雪夫多项式各分量卷积结果的组合。 

 

利用交叉熵计算的损失函数为：

 

 

其中，Θ 是模型参数矩阵，α 是一个正则化系数。模型可以通过以下公式更新 A：

 

 

ρ 是模型的学习速率。

 

宽度学习系统

 

▲ 图2. 宽度学习系统框架

 

BLS 提供了一种可选的学习结构，通过随机方法将特性扩展到广阔的空间。网络主要由特征节点和增强节点构成。 

 

输入数据集和标签矩阵表示为与，其中，N 是样本的数量，M 是特征的维数，C 是类的数量。

 

特征节点可以生成为：

 

 

所有特征节点的集合表示为：

 

 

同样，增强节点的定义可以写成如下公式:

 

 

所有增强节点的集合表示为：

 

 

将特征节点与增强节点集成，最终输出可计算为：

 

 

论文方法

 

Original GCB-Net

 

▲ 图3. GCB-Net框架

 

如图 3 所示，该网络首先利用切比雪夫图卷积来处理不规则网格数据。然后利用正则卷积提取更高层次的特征。在所有的卷积之后，不同层的输出被平铺成一维向量并连接在一起。然后，对网络进行全连通层预测，并利用 softmax 函数进行预测。Original GCB-net 伪代码如图 4 所示。

 

▲ 图4. Original GCB-Net伪代码

 

▲ 图5. GCB-net with BLS伪代码

 

GCB-net with BLS

 

▲ 图6. GCB-net with BLS过程

 

为了提高 GCB-net 的性能，可以使用 BLS 来增强 GCB-net 的特征。首先通过特征映射和增强映射将 GCB 特征扩展到随机的广义空间，然后通过特征节点和增强节点的连接对输出进行预测。GCB-net with BLS 伪代码与示意图如图 5 和图 6 所示。

 

结果

 

为了评估本文方法的性能，本文在两个基准的情绪数据库上进行了实验，即 DREAMER 和 SEED。SEED 数据集实验结果如图 7 所示。可以发现，所有模型的识别精度在 β 和 γ 频段都远远高于其他的频段，这与之前的脑电情绪识别研究结果一致。

 

▲ 图7. SEED数据集实验结果

 

GCB-net with BLS 取得了最好的效果，验证了模型的有效性。DREAMER 数据集实验结果如图 8 所示，可以观察到，大部分方法在 Dominance 维度识别效果较好，虽然 GCB-net+BLS 的性能相对于 GCB-net 并没有得到提升，但其准确性仍优于或接近 DGCNN 的结果，说明了 GCB 模型的有效性。

 

▲ 图8. DREAMER数据集实验结果

 

结论

 

本文将 GCB-net 引入到情绪识别中，利用 EEG-channel 信号识别情绪，构建了可以探索图结构数据更深层次信息的网络。在这项工作中，首先使用图卷积层来处理图结构输入，然后堆叠多个规则 CNN 层来抽象深层特征。最后，将各个层次的输出连接起来，为模型提供广阔的搜索空间。