基于深度学习的人脸表情识别（天津大学硕士学位论文）

《基于深度学习的人脸表情识别》吕亚丹（天津大学硕士学位论文）

目录

---

0 摘要

.1 人脸表情识别模块组成

---

.2 论文使用方法

基本思路：利用 人脸解析器 提取在表情识别中 起关键作用的器官 进行识别表情识别。

依据：人脸不同部位包含的表情信息量不同；

优势：避免对不同人脸形状进行的加权函数 和 加权特征区域的调整。

采用算法：

Created with Raphaël 2.1.0 开始 贪婪图像缩放算法 进行 图像预处理 提取HOG特征 进行 人脸解析 提取解析的器官的Gabor特征 进行 表情识别 结束

说明：解析器由 深度置信网 训练，用 逻辑回归 进行微调。

• 解析器首先检测出 人脸区域
• 然后在人脸区域上级联检测出人脸的眼睛、鼻子和嘴
• 最后将检测好的器官提取Gabor特征
  作为Stacked自动编码器输入进行表情分类

方法优势：

• 图像不需要对提前进行对齐、光照处理等任何人为处理。
• 解析的器官剔除了表情识别中的冗余信息， 且解析过程中利用了器官
  之间的角度和距离关系缩小了检索范围，提高解析速度。

---

1 绪论

1.1 研究背景

意义：心理学研究表明，在语言和表情表达的信息不一致时，表情传达的信息更准确。表情是人类进行情感交流的重要方式。人类情绪主要通过面部表情传达，识别人类表情能够使人类与机器的交流更有效。

难点：

• 每种表情都是面部不同肌肉组合的结果，无法用一个固定的模型描述每种表情对应的面部肌肉组合。
• 人脸面部表情变化时，表现为脸部特征点的运动，目前计算机不能精确定位特征点的具体位置。
• 即使是同一种表情，不同人面部表现形式也不一样，计算机精确划分每种表情很困难。

应用场合：情感机器人、高效人机交互、病人监护、远程教育等

1.2 研究现状

国内：

• 中科院：在步态识别、运动检测、人体跟踪、人脸跟踪上建立了演示系统，在人脸面部信息搜索和表情识别上取得重大进展。
• 哈工大：研发多功能感知机，作为一个可以开发视听觉等自然语言和人类其他语言的软硬件平台。

国外：
应用场景：

• 游戏：根据人类情感做出实时反映，增强玩家沉浸感。
• 远程教育：根据学生表情调整授课进度、授课方法等。
• 安全驾驶：根据司机表情，判断司机驾驶状态，避免事故发生。
• 公共安全监控：根据表情判断是否有异常情绪，预防犯罪。

1.3 面临挑战

• 识别表情类别有待增加。
• 人脸检测算法的鲁棒性有提升空间。
• 表情识别计算量较大。

2 系统结构及特征分析

2.1 系统结构

• 图像预处理：人脸检测、人脸灰度化等消除干扰因素。
• 表情特征提取：基于静态图像的特征提取 和 动态序列的图像特征提取，在进行表情识别之前要先进行特征降维。
• 表情识别：选择合适的分类算法对降维后的表情特征进行分类。

2.2 表情图像预处理

人脸检测算法分类：

• 基于肤色的检测方法
  基于高斯模型、基于混合高斯模型、基于直方图模型，
  实验表明，混合高斯模型比高斯模型好。
• 基于统计模型的方法
  人工神经网络：采用多个神经网络进行不同角度人脸检测。
  基于概率模型：通过估计人脸图像和非人脸图像的条件概率来检测人脸。
  支持向量机：采用支持向量机的超平面进行人脸和非人脸的判断。
• 基于启发式模型的检测方法
  变形模型：采用变形模板与头顶轮廓线和左右两条脸轮廓线相匹配。
  镶嵌图：将人脸区域划分为多个马赛克块，利用一组规则及边缘特征进行验证。

对表情图像进行标准化操作：

• 图像灰度归一化：对图像进行光照补偿，减轻光照对识别的影响。
• 图像几何归一化：先检测人脸特征点，根据其将数据集里的人脸归一化到同一位置（在图片里）及同一大小。

2.3 人脸表情特征提取

基于静态图像的方法：

• 依据：面部 不同区域 携带的表情信息 不同，人脸图像被划分为 不同的子区域， 然后对各类表情子区域分别利用 特征脸方法 求 特征子空间，将 表情子图像 投影到 各个表情子空间上 进行识别， 计算该图像在表情子空间的投影 与 该表情子空间的相似性来进行识别。
• 根据图像中人脸的 几何结构信息 和每幅图像的 空间信息 进行特征提取。
• 适用于表情的实时检测。

基于动态图像序列的方法：
首先计算特征区域的 特征流和速度场，再利用 DGMM(Dynamic Gaussian Mixture Model)和 HMM(Hidden Markov Model)进行人脸面部表情的识别。

人脸特征分类：

• 几何特征和纹理特征。
  人脸的纹理特征是在整个人脸图像中提取能够反映人脸整体特点的特征。
  基于几何特征的方法用有限的特征点代替人脸整体图像信息，忽略了一些部位的特征信息， 因此一些对表情识别起重要作用的信息可能会丢失。
  基于纹理的特征比较完整的保留了人脸面部信息， 丢失的数据较少， 但是其缺点是容易受环境的影响， 且输入数据的维数相对比较高，计算量较大。
• 共性特征和个性特征。
  对数据库中归一化的人脸图像求平均，得到的平均人脸即人脸共性特征。
• 局部特征和整体特征。
  图像局部特征可以是局部结构也可以是局部器官轮廓以及灰度分布， 一般具有较好分类特性；
  整体特征一般是将整个人脸图像通过降维如 PCA 降维提取图像矩阵的特征，获得图像的整体特征。
• 暂态特征和永久特征。
  人脸的暂态特征指 人脸中性脸 与非中性脸 做差所得的特征。
  永久特征指人脸处于中性表情时的几何特征和纹理特征等。
  在表情识别时，起关键作用的暂态特征，故需要从永久特征中分离暂态特征，再分析暂态特征并进行表情分类。

2.4 人脸表情识别方法介绍

• 基于模板的方法：
  首先为 每个基本表情 都建立一个模板，将待测表情和 表情模板 分别计算相似度，相似度最高所对应的表情模板就是识别的表情分类结果。
  特点：思想简单，识别率较低。并且识别非典型表情（即分类之初没有考虑到的表情）有困难。
• 基于神经网络的方法：
  目前表情识别常用神经网络结构：主要有 BP 神经网络、多层感知器、 RBF 网等。
  输出层的输出结点与七种基本表情一一对应。
  这些方法适合解决非线性分类问题。
  神经网络也可以进行特征提取。
• 基于支持向量机的方法：
• 基于概率模型的方法：
  首先建立人脸表情图像的参数分布模型， 对于测试集中的每个图像分别计算该图像属于每个类的概率， 计算的最大概率所对应的类别为最后的分类结果。
  Bays 决策和 HMM 属于基于概率模型的方法。
• K-means聚类：是一种无监督的分类方法。目标函数多峰且非线性，算法容易陷入局部最优解，要得到好的结果需要有较好的初始化参数。