[总结] Deep Facial Expression Recognition DataSet (In The Wild) Summary

目录

1. RAF
2. SFEW
3. ExpW
4. EmotioNet
5. AffectNet
6. FER2013

1. RAF

Real-world Affective Faces Database (RAF-DB) 由 BUPT (北京邮电大学) 的 Pattern Recognition and Intelligent System Laboratory (PRIS Lab) 所提供，相关论文发表时间为 2017 年与 2019 年。
根据相关页面介绍可知，RAF 数据集含有将近 30 K 张图像，并且每张图像标注了 landmark 信息（准确的 5 landmark 信息，以及由算法检测出的 37 landmark 信息），boundingx box 信息，种族，年龄范围以及性别信息。此外，该数据集有两个子集，分别包括 7 种 Basic 表情和 12 种 Compound 表情。
链接：http://www.whdeng.cn/RAF/model1.html

Basic:

	Surprise	Fear	Disgust	Happy	Sad	Angry	Neutral	Sum
Train Set	1290	281	717	4772	1982	705	2524	12271
Test Set	329	74	160	1185	478	162	680	3068

Compound:
虽然作者提到共有 12 种 Compound 表情，但是查看相关的 README，却发现并没有 Fearfully Disgusted 的信息。

	Happily Surprised	Happily Disgusted	Sadly Fearful	Sadly Angry	Sadly Surprised	Sadly Disgusted	Fearfully Angry	Fearfully Surprised	Angrily Surprised	Angrily Disgusted	Disgustedly Surprised	Sum
Train Set	562	219	107	130	68	597	117	444	138	667	113	3162
Test Set	135	47	22	33	18	141	33	116	38	174	35	792

2. SFEW

Static Facial Expressions in the Wild Database (SFEW-DB) 为 Acted Facial Expressions In The Wild Databse (AFEW-DB) 的子集。
其中，AFEW-DB 由电影中剪辑所得的视频片段组成，作为 Emotion Recognition In The Wild Challenge (EmotiW) 系列情感识别挑战赛所使用的数据集；而 SFEW-DB 由 AFEW-DB 中所抽取的有表情的静态帧组成。
链接：https://cs.anu.edu.au/few/emotiw2015.html

	Surprise	Fear	Disgust	Happy	Sad	Angry	Neutral	Sum
Train Set	96	98	66	198	172	178	150	958
Val Set	57	47	23	73	73	77	86	436

PS： 最近做实验发现，SFEW 2.0 所提供的裁剪人脸图像有许多错误样本，即所裁剪区域不包含人脸或仅包含小部分人脸区域。此外， SFEW 中也存在较为明显的连续帧现象，即连续几张图像过于相似。

3. ExpW

Facial Expression in-the-Wild Database (ExpW-DB) 由 CUHK (香港中文大学) 的 Multimedia Laboratory (MMLab) 所提供。
不同于其他数据集，ExpW 不需要提交申请，直接在主页下载即可。
链接：http://mmlab.ie.cuhk.edu.hk/projects/socialrelation/index.html

Surprise	Fear	Disgust	Happy	Sad	Angry	Neutral	Sum
7060	1088	3995	30537	10559	3671	34883	91793

4. EmotioNet

链接：http://cbcsl.ece.ohio-state.edu/dbform_emotionet.html

通过所提出的识别 AU 以及 AU 强度值的算法，作者对其所爬取的图像进行 AU 标注，以构建 EmotioNet 数据集。其中，作者利用 WordNet 下载了超过一百万张图像。（我尝试申请过该数据集，不过作者并没有任何回应）

5. AffectNet

AffectNet 应该是目前为止最大的人脸表情数据集了，所包含图像数量超过一百万张。
作者对这一百万张图像的一半进行了手动标注，其标注信息不仅包含七类基础表情，还包括 valence 和 arousal 的强度值。
链接：http://mohammadmahoor.com/affectnet/

关于官网中所提到的 Affective Computing（即情感计算）：
在情感计算中，普遍用模型对人的情感进行分类和量化，而模型主要分为两大类：连续模型（continuous model）和分类模型（categorical model）。其中，分类模型中常将情感分为基础情感和复合情感，连续模型中常见的为Mehrabian和Russell的PAD（愉悦度—唤醒度—优势度，pleasure–arousal–dominance）三维模型，其中， valence 表示情感是正面的还是负面的，arousal 表示人在这种情感下是激动还是抑制，dominance 表示人在这种情感下感觉强大还是弱小。（此段来源于目前语音情感识别的发展前景？ - 王赟 Maigo的回答 - 知乎）。

关于申请流程，官网特别说明：We have received too many requests and due to OneDrive band-with limit in sharing/downloading the database, your request will be processed with delay (about 10 days)。

我也尝试申请过，不过没有任何回应，只好依据官网所给信息为准：The total numbers of manually annotated images in the training and validation sets in each category of emotioins are given in the follwoing Table.

6. FER2013

FER2013 为 Kaggle 在 2013 年所举办的人脸表情识别竞赛，其数据集包含 28709 张训练图像，3589 张公开测试图像，3589 张私有测试图像。其中，每一张图都是像素为 48*48 的灰度图。
链接：https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge/data

	Surprise	Fear	Disgust	Happy	Sad	Angry	Neutral	Sum
Train Set	3171	4097	436	7215	4830	3995	4965	28709
Val Set	315	496	56	895	653	467	607	3589
Test Set	316	528	55	879	594	491	626	3589

该数据集并不直接提供图像数据，需手动进行转换，具体数据处理代码，如下所示：

import os
import numpy as np
import pandas as pd
from PIL import Image

total_list = []
train_list = []
val_list = []
test_list = []

data = np.array(pd.read_csv('../src/fer2013.csv'))

for index in range(data.shape[0]):
    emotion, pixels, usage = data[index] 
    
    pixels = np.asarray([float(p) for p in pixels.split()]).reshape(48, 48)
    img = Image.fromarray(pixels).convert('L')
    img.save('../images/{:0>5d}.jpg'.format(index))

    total_list.append(['{:0>5d}.jpg'.format(index), emotion, usage])
    if usage=='Training':
        train_list.append(['{:0>5d}.jpg'.format(index), emotion])
    elif usage=='PublicTest':
        val_list.append(['{:0>5d}.jpg'.format(index), emotion])
    elif usage=='PrivateTest':
        test_list.append(['{:0>5d}.jpg'.format(index), emotion])

total_list, train_list, val_list, test_list = np.array(total_list), np.array(train_list), np.array(val_list), np.array(test_list)
print('total: %d, train: %d, val: %d, test: %d' % (total_list.shape[0],train_list.shape[0],val_list.shape[0],test_list.shape[0]))

np.savetxt('../list/total_list.txt',total_list,fmt='%s')
np.savetxt('../list/train_list.txt',train_list,fmt='%s')
np.savetxt('../list/val_list.txt',val_list,fmt='%s')
np.savetxt('../list/test_list.txt',test_list,fmt='%s')

PS : 除了上面介绍所介绍的人脸表情数据集外，我还想推荐一个网站：Yet Another Computer Vision Index To Datasets (YACVID)，该网站收集了大量 CV 方向被人熟知的数据集的信息，属于比较难得的良心网站。

参考资料：

• 表情识别数据集整理

---

如果你看到了这篇文章的最后，并且觉得有帮助的话，麻烦你花几秒钟时间点个赞，或者受累在评论中指出我的错误。谢谢！

作者信息：
知乎：没头脑
LeetCode：Tao Pu
CSDN：Code_Mart
Github：Bojack-want-drink