基于生理信号的多模态情绪识别模型

Abstract

提出了一种基于三维卷积神经网络模型、一维卷积神经网络模型和基于生物启发的决策级多模态融合的多模态情绪识别模型。
用这个模型来区分唤起效价平面上的四个情绪区域，即在DEAP和AMIGOS数据集中，低唤醒和低效价(LALV)、高唤醒和低效价(HALV)、低唤醒和高效价(LAHV)、高唤醒和高效价(HAHV)。将三维CNN模型和一维CNN模型分别利用脑电信号和周围生理信号进行预测识别，与原始脑电信号的准确率分别为93.53%和95.86%。

Method

1.对应EEG信号的三维卷积操作来有效的提取时域和空间域的信息，将数据集中使用的电极重新定位到二维电极拓扑结构中。对于每个时间采样点，将脑电图信号映射到一个9x9矩阵中。未使用的电极填入0。在每个转换中使用z分数标准化。

在将数据送入三维卷积操作中，卷积操作具体如下：
对应于生理信号的识别，一维卷积操作如下：
决策层融合使用多感官线索模型进行。

结论