ICCV2015论文 Joint Fine-Tuning in Deep Neural Networks for Facial Expression Recognition解析

1、主要贡献
提出了一种基于深度神经网络的表情识别新方案（DTAGN），首先构建DTAN（deep temporal appearance network）网络和DTGN（deep temporal geometry network）网络，分别获取输入图像序列的人脸外貌特征和人脸关键点几何特征，然后通过一个融合网络，实现表情特征融合与识别。该方案适用于训练数据集不充分的情况。
2、实现过程

图1、整体结构

图2、DTAN特征图

图3、DTGN特征图
预处理模块（人脸检测与定位）采用CVPR2003 Supervised descent method and its applications to face alignment中的IntraFace方法；
DTAN结构：输入64x64图像→5x5x64卷积核→5x5局部对比度归一化层（Local Contrast Normalization Layer）→500个结点的全连接层→500节点的全连接层→七个输出的softmax层；
DTGN结构：输入1176维输入向量→100个节点的全连接层→600个节点的全连接层→七个输出的SoftMax层；
融合网络将DTGN和DTAN的softmax层输出结果求均值（Weighted Sum）或：将DTAN和DTGN交叉熵之和作为融合网络的损失函数，使得该损失函数最大的标签即为输入图片的表情。
3、结论
CK+数据库


Oulu-CASIA

MMI