基于LBP与双时空神经网络的微表情识别

摘要: 针对传统微表情识别方法识别率低及过程复杂等问题，设计了一种浅层的双时空多尺度神经网络TSTNet（Two-Stream spatial-Temporal Network）模型.利用局部二值模式（LBP）提取SMIC和CASMEⅡ微表情数据库的纹理特性，将其输入到组合的3维卷积神经网络（3DCNN）与卷积的长短期记忆网络（ConvLSTM）中同时提取时间和空间信息，在模型中加入丢弃算法并多路提取特征，减小过拟合风险的同时学习更丰富的特征.在SMIC和CASMEⅡ微表情数据库上的识别率分别达到了67.30%和65.34%，与现有的深度学习方法相比，该模型提高了网络的训练速度与微表情的识别率.

关键词: 局部二值模式(LBP)     深度学习     3维卷积神经网络(3DCNN)     卷积的长短期记忆网络     微表情识别    

0 引言

微表情是人类隐藏的情绪，与正常的表情不同，微表情只在高风险的情况下才有可能被触发，是人最真实的表达.微表情持续时间通常小于