ICCV2015论文 Joint Fine-Tuning in Deep Neural Networks for Facial Expression Recognition解析

1、主要贡献
提出了一种基于深度神经网络的表情识别新方案(DTAGN),首先构建DTAN(deep temporal appearance network)网络和DTGN(deep temporal geometry network)网络,分别获取输入图像序列的人脸外貌特征和人脸关键点几何特征,然后通过一个融合网络,实现表情特征融合与识别。该方案适用于训练数据集不充分的情况。
2、实现过程
ICCV2015论文 Joint Fine-Tuning in Deep Neural Networks for Facial Expression Recognition解析_第1张图片
图1、整体结构
ICCV2015论文 Joint Fine-Tuning in Deep Neural Networks for Facial Expression Recognition解析_第2张图片
图2、DTAN特征图
ICCV2015论文 Joint Fine-Tuning in Deep Neural Networks for Facial Expression Recognition解析_第3张图片
图3、DTGN特征图
预处理模块(人脸检测与定位)采用CVPR2003 Supervised descent method and its applications to face alignment中的IntraFace方法;
DTAN结构:输入64x64图像→5x5x64卷积核→5x5局部对比度归一化层(Local Contrast Normalization Layer)→500个结点的全连接层→500节点的全连接层→七个输出的softmax层;
DTGN结构:输入1176维输入向量→100个节点的全连接层→600个节点的全连接层→七个输出的SoftMax层;
融合网络将DTGN和DTAN的softmax层输出结果求均值(Weighted Sum)或:将DTAN和DTGN交叉熵之和作为融合网络的损失函数,使得该损失函数最大的标签即为输入图片的表情。
3、结论
CK+数据库
ICCV2015论文 Joint Fine-Tuning in Deep Neural Networks for Facial Expression Recognition解析_第4张图片
ICCV2015论文 Joint Fine-Tuning in Deep Neural Networks for Facial Expression Recognition解析_第5张图片
Oulu-CASIA
ICCV2015论文 Joint Fine-Tuning in Deep Neural Networks for Facial Expression Recognition解析_第6张图片
MMI
ICCV2015论文 Joint Fine-Tuning in Deep Neural Networks for Facial Expression Recognition解析_第7张图片

你可能感兴趣的:(表情识别)