ck+database:Comprehensive Database for Facial Expression Analysis论文笔记

                                                            Comprehensive Database for Facial Expression Analysis

摘要：

ck+数据集提供了CMU匹兹堡AU编码的面部表情图像数据库，目前包含来自182个不同种族的成年受试者的2105个数字化图像序列，执行大多数主要FACS动作单元..该数据库是迄今为止对面部表情分析进行比较研究的最全面的。

1、引言

我们首先描述面部表情分析的问题空间。 该空间包括多个维度：level of description, temporal organization, eliciting conditions, reliability of manually coded expression, individual differences in subjects, head orientation and scene complexity, image acquisition, and relation to non-facial behavior. 然后，我们描述映射到这个问题空间的数据库的特征，并根据这些标准评估CMU匹兹堡AU编码的面部表情数据库的第1阶段。 该数据库为不同的面部表情分析方法的比较研究提供了一个庞大的代表性测试台。

2、面部表情分析的问题空间

2.1具体描述

面部动作编码系统[FACS：4]是一种以人为本的系统，旨在检测面部特征的微妙变化。 以慢动作观看录像的面部表情，受过训练的观察员可以手动FACS代码所有可能的面部显示，称为动作单元（AU），并且可以单独或组合。

FACS由44个行动单位组成。 解剖学上三十与一组特定的面部肌肉的收缩有关（表1）。

 其余14例的解剖学基础未明确（表2）。 这些14在FACS中称为杂项动作。 许多动作单元可被编码为对称或不对称的。 对于强度变化的动作单位，使用5点序数量表来测量肌肉收缩程度。

虽然Ekman和Friesen提出FACS动作单元的特定组合表示情感的表现形式，情感指定的表达不是FACS的一部分; 它们是编码的独立系统，如EMFACS .FACS本身是描述性的，不包括推荐标签。 通过将FACS代码转换为EMFACS或类似系统，脸部图像可以被编码用于情感指定表达（例如，喜悦或愤怒）以及正面或负面情绪的形成摩尔类别。

2.2表达之间的转换
  添加组合的一个实例是具有开口的微笑（AU 12），其将被编码为AU 12 + 25，AU 12 + 26或AU 12 + 27，这取决于唇部分离的程度以及下颌骨以及多远 被降低 在AU 12 + 27的情况下，例如，面部分析系统将需要检测所有三个开口水平之间的转变，同时继续识别AU 12，其可能同时在强度上变化。

 非加性组合表示进一步的复杂性。 在语言科学中的使用之后，我们将这些互动称为共同关联效应。 一个例子是AU 12 + 15的组合，这通常是尴尬的。 当AU 12抬起脸颊时，其在唇角上的动作被AU 15的向下的动作所修改。由此产生的外观变化高度依赖于时间。 唇角的向下作用可以同时或顺序地发生。 为了全面，数据库应包括单个动作单元以及添加和非添加组合，特别是涉及coarticulation效应的组合。 仅在单一动作单元上训练的分类器对于发生共同发音效果的组合可能表现不佳。

2.3 刻意表达和自发表达的对比

自发和刻意面部动作的时间组织的差异特别重要，因为许多模式识别方法，如隐马尔可夫模型，高度依赖于外观变化的时机。 除非数据库包括故意和自发的面部动作，否则可能不适合研究对这些差异有效的面部表情方法。

2.4表达数据的可靠性

FACS编码人员必须通过标准化测试，确保（最初）国际实验室之间的统一编码。 通过让观察者独立编码相同数据的一部分，最好实现监控。
2.5个体差异

脸型，纹理，颜色，面部和头皮头发随性别，种族背景和年龄而变化。

除个体外观差异外，表现力存在个体差异，指面部可塑性，形态，强烈表达频率以及整体表达率。

2.6头朝向和场景复杂度

2.7图像采集和分辨率

2.8与非面部行为的关系

2.9摘要和问题陈述

我们已经开发了匹兹堡的CMU AU编码面部表情数据库作为一个测试台进行算法开发和测试、

3 The 匹兹堡的CMU AU面部表情图像数据库

3.1数据库描述

3.2数据库评估

3.3数据库扩展

4、总结

面部表情分析的问题空间包括多个维度。 这些包括描述水平，表达之间的转换，刻意表达和自发表达之间的区别，训练和测试数据的可靠性和有效性，面部特征和相关特征之间的个体差异，头部方向和场景复杂性，图像特征以及与其他关系的关系 非言语行为。 开发健壮的面部表情分析方法需要访问从这个问题空间中充分抽取的数据库。 CMU匹兹堡AU编码面部表情图像数据库提供了一个有价值的测试台，可以通过多种方法进行面部表情分析。 在当前和新的工作中，我们将进一步提高该数据库的可推广性