人脸表情识别常用的几个数据库

人脸表情识别就是让计算机识别人脸的各种表情，进而分析表情所代表的情绪，意图等。人脸表情识别可以用在测谎，医学辅助诊断，人机交互方面。 与人脸识别相比，人脸表情特征更加细微，而且受各种因素的干扰也更大。目前人脸表情识别的研究都是在数据库上做测试。下面介绍几个比较常见的数据库。

 

1： The Japanese Female FacialExpression (JAFFE) Database

 

http://www.kasrl.org/jaffe.html

 

这个数据库比较小，而且是一个比较老的数据库了，早在1998年就发布了。该数据库是由10位日本女性在实验环境下根据指示做出各种表情，再由照相机拍摄获取的人脸表情图像。整个数据库一共有213张图像，10个人，全部都是女性，每个人做出7种表情，这7种表情分别是： sad, happy, angry, disgust,surprise, fear, neutral. 每个人为一组，每一组都含有7种表情，每种表情大概有3,4张样图。这样每组大概20张样图，目前在这个数据库上的识别率已经很高了，不管是person independent 或者是person dependent。识别率都很高。这个数据库可以用来熟悉人脸表情识别的一些基础知识，包括特征提取，分类等。

 

2： The Extended Cohn-Kanade Dataset(CK+)

 

http://www.pitt.edu/~emotion/ck-spread.htm

 

这个数据库是在 Cohn-Kanade Dataset 的基础上扩展来的，发布于2010年。这个数据库比起JAFFE 要大的多。而且也可以免费获取，包含表情的label和Action Units 的label。

这个数据库包括123个subjects, 593 个 image sequence，每个image sequence的最后一张 Frame 都有action units 的label，而在这593个image sequence中，有327个sequence 有 emotion的 label。这个数据库是人脸表情识别中比较流行的一个数据库，很多文章都会用到这个数据做测试。具体介绍可以参考如下文献：

P.Lucey, J. F. Cohn, T.Kanade, J. Saragih, Z. Ambadar, and I. Matthews, "TheExtended Cohn-KanadeDataset (CK+)_ A complete dataset for action unit andemotion-specifiedexpression," inComputer Vision andPattern RecognitionWorkshops (CVPRW), 2010 IEEE Computer Society Conference on,2010, pp. 94-101.

 

3： GEMEP-FERA 2011

 

http://gemep-db.sspnet.eu/

 

这个数据是2011年，IEEE 的 Automatic Face & GestureRecognition and Workshops (FG 2011), 2011 IEEE International Conference on 上提供的一个数据库，如果要获取这个数据库，需要签署一个assignment，而且只有学术界可以免费使用。

这个数据库拥有的表情图很多，但是subjects 很少。具体介绍可以参考如下文献：

M.F. Valstar, M. Mehu, B.Jiang, M. Pantic, and K. Scherer, "Meta-Analysis ofthe First FacialExpression Recognition Challenge,"Systems,Man, andCybernetics, Part B: Cybernetics, IEEE Transactions on, vol. 42,pp. 966-979,2012.

 

4： AFEW_4_0_EmotiW_2014

 

http://cs.anu.edu.au/few/emotiw2014.html

 

这个数据库用作ACM 2014 ICMI TheSecond Emotion Recognition In The Wild Challenge and Workshop。去年已经进行了第一届的竞赛，这个数据库提供原始的video clips, 都截取自一些电影，这些clips 都有明显的表情，这个数据库与前面的数据库的不同之处在于，这些表情图像是 in the wild, not inthe lab. 所以一个比较困难的地方在于人脸的检测与提取。详细信息可以参考如下文献：

A.Dhall, R. Goecke, J. Joshi,M. Wagner, and T. Gedeon, "Emotion RecognitionIn The Wild Challenge2013," inProceedings of the 15thACM on Internationalconference on multimodal interaction, 2013, pp.509-516.

 

5:  GENKI-4K

 

http://mplab.ucsd.edu/wordpress/?page_id=398

 

这个数据库专门用于做笑脸识别的，整个数据库一共有4000张图片，分为“笑”和“不笑”两种，图片中的人脸并不是posed，而是spontaneous的，每个图片的人脸的尺度大小也不一样，而且还有姿势，光照的变化，以及头的转动，相对于posed facialexpression, 这个数据库的难度要更大。

详细信息可以参考如下文献：

WhitehillJ, Littlewort G, Fasel I, et al. Toward practical smile detection[J]. PatternAnalysis and Machine Intelligence, IEEE Transactions on, 2009, 31(11):2106-2111.

 

6：The UNBC-McMaster shoulder painexpression archive database

 

http://www.pitt.edu/~emotion/um-spread.htm

 

这个数据库用于做pain的表情识别，目前发布的数据库包含25个subject，200个video sequences，每个video sequence的长度不一，从几十帧图到几百帧图，每张图都有66 个facial landmarks，pain的intensity (0-15)，以及facial action units的编号，每个video sequence也有一个整体pain的 OPI。

详细信息可以参考如下文献：

Lucy,P., Cohn, J. F., Prkachin, K. M., Solomon, P., & Matthrews, I. (2011).Painful data: The UNBC-McMaster Shoulder Pain Expression Archive Database. IEEEInternational Conference on Automatic Face and Gesture Recognition (FG2011).

 

7：Bimodal Face and Body GestureDatabase （FABO）

 

http://www.eecs.qmul.ac.uk/~hatice/fabo.html

 

这个数据库与其它数据库相比，多了gesture的信息，目前利用multimodality 做情感计算的尝试取得很多进展，利用语音信息，人脸表情，body language等做emotion analysis正在受到越来越多的关注，这个数据库就是从facial expression与body gesture两个方面考虑人的情感，不过这个数据库的ground truth label 很繁琐，具体的信息可以参考：

 

GunesH, Piccardi M. A bimodal face and body gesture database for automatic analysisof human nonverbal affective behavior[C]//Pattern Recognition, 2006. ICPR 2006.18th International Conference on. IEEE, 2006, 1: 1148-1153.