【课程·研】专业英语 | 课堂汇报：The Research on Facial Expression Recognition

关于 拾年之璐

微信公众号：知行校园汇，点击查看，欢迎关注

其他平台（点击蓝字可访问）：

GitHub 　｜　 Gitee 　｜　 哔哩哔哩 　｜　 语雀 　｜　 简书 　｜　 微信小程序 　｜　 知行达摩院 　

本文专栏：研究生课程　　点击查看系列文章

1. 讲稿全文

全文字数：1670字

汇报时间：8分钟

老师，各位同学，大家晚上好，我的主题是面部表情识别的研究。

我将从面部表情识别的介绍、识别方法、应用、挑战和未来发展趋势四个方面展开论述。

首先是第一部分，面部表情识别的介绍。

什么是面部表情呢？维基百科是这样定义的：面部表情是面部肌肉的一个或多个动作或状态的结果。

所以，面部表情，是非语言交际的一种形式，它是表达人类之间的社会信息的主要手段。

通常情况下，我们将人的情绪分为6种基本情绪：惊讶、恐惧、厌恶、高兴、悲伤、愤怒，以及多种复合情绪。当然也有研究者把中性情绪归为基本情绪。通过面部表情的识别，我们可以获取被观察者的当前情绪。

宏观来看，我们把面部表情识别的过程，可以简单理解为输入图像或视频、识别，然后输出识别结果。

那识别过程是怎样的呢？接下来是面部表情识别的方法论。

具体来说，当前研究者通用的人脸识别流程是这样的：输入图像或视频序列、对输入内容进行预处理，然后经过深度神经网络的特征提取与表情分类，最后输出识别结果。

首先是预处理阶段，即在计算面部特征之前，排除掉跟脸无关的一切干扰。

这个阶段主要完成四项任务：人脸检测、人脸对齐、数据增强、人脸归一化。

• 人脸检测，是指对输入的图像，判断其是否包含人脸信息。如果不包含人脸信息，则接下来的操作也没有进行的必要。

• 人脸对齐，是指根据人脸图像，检测出面部关键特征点，如眼睛、鼻子等。

• 数据增强，是指通过变换（如旋转，平移，翻转，缩放，对齐）、噪声添加（如椒盐噪声，斑点噪声），以及亮度、饱和度的调整，增强图像的特征数据。

• 人脸归一化，主要是指亮度归一化和姿态归一化。亮度归一化，不仅包含亮度调整，也包含了对比度调整。常见的调整方式有全局对比度归一化，局部归一化，直方图归一化。姿态归一化就是人脸对齐拉正。

然后是面部特征提取。即采用基于CNN（卷积神经网络）的网络模型，如AlexNet模型、GoogleNet模型、ResNet模型、SENet模型等，进行改进与特征提取。因为这些模型有非常高性能的特征表达能力，适合后期做图像分类问题。当然，还有研究者采用DBN（深度置信网络，deep belief networks）、RNN（循环神经网络，recurrent neural networks）、DAE（深度自动编码器，deep autoencoders）等模型进行特征提取。

最后是面部表情分类。在传统的面部表情识别方法中，特征提取步骤和特征分类步骤是独立的。而深度网络可以做到端到端的方式执行面部表情识别。此外，通常在网络的末端增加一个损耗层来调整反向传播误差，这样网络就可以直接输出每个样本的预测概率。

这就是当前面部表情识别的常用流程。

关于面部表情识别的具体应用领域，主要有以下几个方面：

• 安全辅助驾驶：通过驾驶员的实时表情分析其疲倦程度；

• 智能相册分类：自动识别照片库人物情绪，进行个性化分类管理；

• 医疗呼叫系统：病人病情的实时监控；

• 课堂教育：自动识别课堂上学生表情神态，注意力情况等；

• 心理评估：自动识别测试人不同问题及场景下的表情神态

• 互动营销：如情绪探测器，感知力测试

• 线下广告和活动：自动识别线下广告投放点行人表情神态，评估不同广告内容、广告位效果；

• 表情动画：生成各种搞笑表情动画、模拟人的各种表情；

• 等等。

不过，当前的面部表情识别，虽然应用前景广阔，但仍有不小的挑战和发展趋势。

首先是面部表情数据集。其实任何深度学习任务，都离不开大量的数据进行训练。而在面部表情识别领域，虽然当前已经有大量的优秀数据集，但是他们都是在实验室条件下产生的，自然环境下的数据集严重匮乏。同时，许多研究人员致力于利用深度学习技术来处理困难，如光照变化、遮挡、非额头姿势、身份偏见和低强度表情的识别，这方面的数据集的质量和数量，同样匮乏。

然后是真实场景下的遮挡、光照和非正面头部姿势等情形下的面部表情识别问题。，是不小的挑战。

此外，还有

• 三维的静态和动态数据的面部表情识别：三维状态下的光照变化和姿势变化，是面部表情识别的一个挑战；

• 面部表情合成： 真实感人脸表情合成是当前的研究热点，它可以为交互界面生成各种表情。

• 融入其他情感模式：当前面部表情识别不能涵盖现实互动的全部表达行为。如3D场景下的面部肌肉的变化、情绪强度的微小变化等，都会影响表情识别的准确度。

2. PPT演示

3. 文档下载

待添加。如果2021年3月1日前未见下载链接，请联系QQ：473766312