2020-05-13

表情識別－記錄精彩時刻
一　论文选题的理由和意义

随着机器学习和深度神经网络两个领域的迅速发展以及智能设备的普及，人脸识别技术正在经历前所未有的发展，关于人脸识别技术讨论从未停歇。目前，人脸识别精度已经超过人眼，同时大规模普及的软硬件基础条件也已具备，应用市场和领域需求很大，基于这项技术的市场发展和具体应用正呈现蓬勃发展态势。人脸表情识别(facial expression recognition, FER)作为人脸识别技术中的一个重要组成部分，近年来在人机交互、安全、机器人制造、自动化、医疗、通信和驾驶领域得到了广泛的关注，成为学术界和工业界的研究热点。随着社会的发展，人們生活水平隨之提高，智能攝像頭也逐漸走入尋常人家中，我們平常記錄人生中的重要時刻都是使用手機或者攝像機的拍照功能，但是在人們家庭日常生活中也存在這許多細微的歡樂時刻，比如家中小朋友陪寵物開心地玩耍，朋友家中聚會時一起舉杯痛飲，由此本文旨在設計一種可以實時跑在智能攝像頭上的人臉表情抓拍程序，記錄人們日常生活中的小幸福時刻．
因此，智能抓拍精彩時刻在不起眼的生活小事中提高人們幸福感方面變得尤爲重要．

二　国内外关于该课题的研究现状及趋势；
面部表情的研究始于19世纪，1872年，达尔文在他著名的论著《人类和动物的表情（The Expression of the Emotions in Animals and Man，1872）》中就阐述了人的面部表情和动物的面部表情之间的联系和区别。
1971年，Ekman和Friesen对现代人脸表情识别做了开创性的工作，他们研究了人类的6种基本表情（即高兴、悲伤、惊讶、恐惧、愤怒、厌恶），确定识别对象的类别，并系统地建立了有上千幅不同表情的人脸表情图像数据库，细致的描述了每一种表情所对应的面部变化，包括眉毛、眼睛、眼睑、嘴唇等等是如何变化的。
1978年，Suwa等人对一段人脸视频动画进行了人脸表情识别的最初尝试，提出了在图像序列中进行面部表情自动分析。
20世纪90年代开始，由K.Mase和A.Pentland使用光流来判断肌肉运动的主要方向，使用提出的光流法进行面部表情识别之后，自动面部表情识别进入了新的时期。
目前，研究中比较常用的表情库主要有:美国CMU机器人研究所和心理学系共同建立的Cohn-Kanade AU-Coded Facial Expression Image Database(简称CKACFEID)人脸表情数据库;日本ATR建立的日本女性表情数据库(JAFFE)，它是研究亚洲人表情的重要测试库；fer2013人脸数据集等，之后越来越多的不同场景下的数据集先后被开源了出来，这些数据集也一定程度上推动了ReID的发展。
近20年，大量的人脸识别方法被提出，在2015年左右，深度学习还没有大热大火之前，人臉表情識別的研究大部分都是基于的特征的阶段，在一些可控制的条件下，这些方法在一些公开的数据库上都取得了非常好的结果。这些方法大多以整张脸做为识别对象。之前数年，研究者利用LBP,Gabor,PCA,NN,HOG等機器學習的方法，依靠计算机技术对人脸表情的数字图像进行数据的组织和处理，提取表情特征，去除非表情噪声，来提取人脸特征，然而人脸非常容易被遮挡，那么这些全局特征将失效。随着AlphaGo取得令人瞩目的成就，以及最新硬件支持技术的发展也带来了深度学习的高产阶段，深度学习也逐渐渗透到人工智能的各个方面，包括人臉表情識別，利用深度学习的方法可以很好的学习出黑盒性质的特征，在一些方面可以超过了人类的识别水平，因而深度学习在CV中的应用已成为相关研究者关注的热点。
关于人脸表情识别的讨论一直在继续，很多学者团队都聚焦于此，在国内外各类顶级计算机视觉会议和顶级期刊上每年都有多篇ＦＥＲ的文章。迁移学习的火热也使得在大数据量和算力下训练好的模型可以作为网络的初始化，使得网络的性能大大改善。虽然目前来说，FER主流的方法仍然是先通过若干层CNN进行图像特征的提取，然后通过全连接层进行非线性分类，加入dropout等机制防止过拟合，最后一层有连接神经元，通过softmax变换得到样本属于各个分类的概率分布。FER目前的关注点转移到具有挑战性的真实场景条件下，利用深度学习技术来解决如光照变化、遮挡、非正面头部姿势等问题。

三. 本人的研究计划，包括研究目标、内容、拟突破的难题或攻克的难关、论文的创新或特色、实验方案或写作计划等；
3.1研究计划：人脸表情识别主要由人脸图像的获取、人脸检测、特征提取、特征分类四部分组成。
3.2 研究目标：
3.3 研究内容：研究在家居攝像頭下，使用集成的人臉表情識別模型抓拍家庭成員齊聚的精彩時刻，並記錄下來
3.4 拟突破难题：1. 相比于目标检测，表情识别等任务数据不足，容易过拟合；2. 受光照等外界条件影响大；3. 类内差大(不同个体的脸部特征和表情不同，也就是论文经常提到的identity information会带来影响；另一方面姿态不同加强了识别难度，一个个体的不同pose信息过少，数据集中基本只有正面图像)；4. 相比于人脸识别，表情更加抽象细微。(3)物体遮挡导致在复杂的环境中难以检测出人脸。
3.5 论文的特色：使用了孪生网络进行人臉模糊判斷，　;使用小網絡進行人臉檢測，模型易移植到攝像頭．
3.6 实验方案：收集人臉數據訓練人臉檢測模型，收集清晰度不同的人臉數據訓練人臉模糊度判斷模型，處理不同表情的人臉數據訓練表情分類模型，在家庭成員生活中，開心，哭鬧等意義不同的時刻．