【学习笔记】3篇关于表情识别的文章

1. The Classroom Response System Based on Affective Computing

Kuan-Cheng Lin*, Rei-Wen Lin, Szu-lu Chen, Ciou-Ru You, lui-Lin Chai
Published in: 2010 3rd IEEE International Conference on Ubi-Media Computing

近年来，学校教师倾向于使用正在迅速和普遍发展的信息和通信技术的应用，以促进学生和教师之间的互动，以进行有效的学习。课堂反应系统可以有效地捕捉学生在课堂上的学习成果，结果将立即反馈教师，以改善他们的教学。然而，现有的课堂反应系统必须通过课程测试学生来获得学习成果，但学习者的自主权往往会影响学习成果;如果学习者走神或没有注意描述的问题并且没有按下正确的按钮，则结果无效。本文提出了一种新的课堂反应系统，该系统将用于通过测试达到学习的有效性（即理解水平）;在使用网络摄像头记录学习者的面部表情的同时，将捕捉和分析面部表情的特征。然后系统将使用猫群优化和支持向量机来识别与表达特征和分类模型相关的理解水平。实验结果证明了所选择的9个面部表情，并验证了所提出系统的100％分类精度。

• 提到CRS应答器被应用于课程反馈
• 训练时，设计了针对学习者的问卷，让学习者自己选会不会这道题并且现在有什么表情，再通过录像矫正。感觉受试者真实的情感表达会受限，完全可以控制自己的表情，漏洞还挺大的，又非常艰苦卓越。
• 14个点标记面部功能区，定义了7个特征值α1-α7
• CSO鸡群算法+SVM（文中给出了不同表情的最优SVM参数C和γ）

2. Automatic facial expression recognition for intelligent tutoring systems

Jacob Whitehill ; Marian Bartlett ; Javier Movellan
Published in: 2008 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops

该项目探讨了面部表情在教学中自动反馈的想法。 我们展示了如何有效地使用自动实时面部表情识别来估计个别学生所感知的讲座的难度水平。我们还表明，面部表情可以及时预测每个学生倾向的课程速度。在视频讲座观看任务，训练不到两分钟的记录面部表情数据和在单独的验证集上测试，我们的系统预测了自我报告的难度分数，平均准确度0:42（Pearson R），和他们的首选观看速度，平均准确度为0:29。 我们的技术是全自动的，可用于智能辅导系统（ITS）和标准教室环境。

• 使用价值高，可以实际用于教学辅助，预测不同学生对于课程难度和课程速度的不同需求。应用方向有参考性。
• 具体实现还没有细看。

3. A Real-time Facial Expression Recognizer using Deep Neural Network

Jinwoo Jeon , Jun-Cheol Park , YoungJoo Jo , …
International Conference on Ubiquitous Information Management & Communication - 2016

随着基于深度学习的识别模型的界限越来越大，出现了针对智能家居设备的实时用户状态识别器的特定需求。 本文提出了实时的面部表情识别器来满足它们。我们使用HOG特征描述符来检测人脸，相关跟踪器跟踪检测到的人脸和基于深度卷积神经网络（CNN）的识别器在我们的模型上。我们的CNN模型使用Kaggle面部表情识别挑战数据集进行训练和测试。实验结果表明，我们的识别器可以实现高测试精度和低计算时间，实现移动使用的实时高性能人类表达识别。
方向梯度直方图（Histogram of Oriented Gradient, HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。HOG特征通过计算和统计图像局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中，尤其在行人检测中获得了极大的成功。

• 用HOG特征结合SVM分类器来识别一对多的教室中的人脸也许是个好主意。不过HOG特征只是用于检测人脸。
• 人脸识别的方法很多，本文采用CNN
• 数据集：Kaggle面部表情识别挑战数据集；七分类：angry, disgust, fear, happy, sad, surprise and neutral；数据集中表情比较夸张，还有卡通人物在里面。（如果实验环境设置在教室中，学生的表情不会那么夸张，可以考虑通过一些手段放宽识别条件）
  

---

end