写在前面:本文是本科阶段参加的第三次科创比赛项目,当时只有一个人做,能力精力有限,很多预期的功能都没有实现。最后的可展示程度不高,没有走得很远。本文是申报书部分,可以为除此参加科创的同学提供思路,可以继续做下去,也可以参考某部分功能完善自己的作品。个人水平有限,仅供参考,如果有好的建议也希望能在本文评论区或者私信提出,谢谢。
相关代码已经在去年的一篇文章中发布了,具体请访问:点击此处
课堂是学生学习的主要场所,课堂学习是学生获取知识、培养能力、提高素质的主要渠道。系统科学的课堂考勤是保证各项教学计划有效落实和顺利执行的重要条件。有效的课堂考勤是创造良好学习氛围,形成良好班风、学风及增强学生的组织性和纪律性的必要条件,同时也是保证学校教学秩序的稳定、提高教学质量的重要措施。
研究基于人脸识别的课堂考勤系统,借助信息技术,以人脸识别为手段,彻底摒弃传统课堂考勤中人工统计管理的落后方式,克服不规范的考勤行为,解决学校以往考勤管理工作中出现的问题,为学校的考勤制度实施提供科学的依据。
大学课堂出勤率低,一直是各大高校面临的问题。相比各行各业陆续出现的各类考勤系统,高校课堂目前比较多的仍然是传统的点名方式,而近年来,也曾有一些新兴方式在某些高校出现:如手机APP签到、指纹识别、校园一卡通刷卡等。虽然这些新的方式较传统点名来说,是一种进步且日趋成熟,但是仍然有不少人为漏洞。比如手机或者校园卡有遗失与忘带的情况,学生也可以携带同学的手机与校园卡帮忙考勤;另外有少部分人群指纹较浅极难识别,甚至还有指纹膜作假的情况出现。针对这些现象,首先建立人脸数据库,其次通过深度学习技术训练一个自动提取人脸特征关键点并生成面纹编码的模型。之后,利用摄像工具获取当前人员的面部图像,接着进行几何校正与图像预处理,通过多种算法排除掉光线、背景、色调、表情、眼镜及神态等的干扰,再通过模型进行特征提取以及数据库人脸图像比对,并进行活体检测防止作弊,最终精确辨认出个体。这种人脸识别考勤系统更加能够适应高校课堂,易于被大众接受,且快速响应提高了时间效率。
早在 20 世纪 50 年代,认知科学家就已着手对人脸识别展开研究。20 世纪 60 年代,人脸识别工程化应用研究正式开启。当时的方法主要利用了人脸的几何结构,通过分析人脸器官特征点及其之间的拓扑关系进行辨识。这种方法简单直观,但是一旦人脸姿态、表情发生变化,精度则严重下降。
20世纪90年代
1991 年,著名的“特征脸”(Eigenface)方法第一次将主成分分析和统计特征技术引入人脸识别,在实用效果上取得了长足的进步。这一思路也在后续研究中得到进一步发扬光大,例如,Belhumer 成功将Fisher判别准则应用于人脸分类,提出了基于线性判别分析的Fisherface方法。
2000-2012年
21 世纪的前十年,随着机器学习理论的发展,学者们相继探索出了基于遗传算法、支持向量机(Support Vector Machine,SVM)、boosting、流形学习以及核方法等进行人脸识别。2009 年至 2012 年,稀疏表达(Sparse Representation)因为其优美的理论和对遮挡因素的鲁棒性成为当时的研究热点。与此同时,业界也基本达成共识:基于人工精心设计的局部描述子进行特征提取和子空间方法进行特征选择能够取得最好的识别效果。
2013年
2013年,微软亚洲研究院的研究者首度尝试了10万规模的大训练数据,并基于高维LBP特征和Joint Bayesian方法在LFW上获得了95.17%的精度。这一结果表明:大训练数据集对于有效提升非受限环境下的人脸识别很重要。然而,以上所有这些经典方法,都难以处理大规模数据集的训练场景。
2014年
2014 年前后,随着大数据和深度学习的发展,神经网络重受瞩目,并在图像分类、手写体识别、语音识别等应用中获得了远超经典方法的结果。香港中文大学的Sun Yi等人提出将卷积神经网络应用到人脸识别上,用20万训练数据,在LFW上第一次得到超过人类水平的识别精度,这是人脸识别发展历史上的一座里程碑。自此之后,研究者们不断改进网络结构,同时扩大训练样本规模,将LFW上的识别精度推到99.5%以上。人脸识别发展过程中一些经典的方法及其在LFW上的精度,都有一个基本的趋势:训练数据规模越来越大,识别精度越来越高。
随着人脸识别技术的不断改进,其应用领域从最开始的门禁/考勤领域,到目前应用于金融、安防反恐、教育、社交娱乐、设备、门禁/考勤、交通、智能商业等领域,应用范围逐渐扩大。起初,人脸识别技术仅限于2D识别,但由于2D人脸识别容易受到姿态、光照、表情等因素影响,识别率不够理想,因此3D人脸识别应运而生。相比较而言,3D人脸识别技术不仅识别率高,且在使用方便性上也远远高于2D人脸识别。
根据中国报告网发布《2018年中国生物识别市场分析报告-行业深度分析与发展前景预测》中内容,2017年生物识别技术全球市场规模上升到了172亿美元,到2020年,预计全世界的生物识别市场规模有可能达到 240亿美元。自2015年到2020年,人脸识别市场规模增长了166.6%, 在众多生物识别技术中增幅居于首位,预计到2020年人脸识别技术市场规模将上升至24亿美元。
目前,国内的人脸识别技术已经相对发展成熟,主要应用于三大范围;1)实名制验证,证明人与系统证件信息是否统一;2)进行身份判断,即判断某个人是否为特定群体中的一员,用于人员出入管理和城市安防等,有利于治安维护;3)是用户意愿确认,确保是真人在操作业务,进而做账户许可授权,涉及资产类行业运用较多。
从技术发展趋势来看,越来越多研究机构开始对人脸识别技术进行更深入的研究,以寻求更好、更新的人脸识别技术。其中,远距离人脸识别技术与3D人脸识别技术是研究的主要方向之一,虽然现在这些技术在实际运用过程中还存在一定的难度,但是,随着研究的深入,远距离人脸识别技术与3D人脸识别技术的应用将是未来一段时间的发展方向。
从市场趋势来看,随着高科技信息技术的快速发展,未来人脸识别技术将逐渐向市场化、产品化的方向发展。此外,人脸识别技术的产品类型也将越来越多,例如基于肤色的人脸识别技术、基于点位的人脸识别技术、基于几何特征的人脸识别技术等。可以预见,随着人脸识别技术应用范围的扩大,具有针对性的人脸识别产品将越来越多。
常见的考勤方式主要采用以下几种手段来完成:
人脸考勤主要有三种应用形式:
[1] 前瞻研究院.2018-2023年中国生物识别技术行业投资预测分析报告.2017
[2] 清华大学.人脸识别研究报告.2018
[3] 潘芬兰.基于人脸识别技术的职能考勤系统研究.浙江大学,2014
[4] 杨高波,李实英.计算机视觉特征提取与图像处理[M]. 北京: 电子工业出版社,2014
[5] 孙雅琪.基于人脸识别的课堂考勤系统设计与实现[硕士学位论文].桂林:桂林理工大学,2013
[6] 林逸峰.基于计算机视觉的人体检测和人脸识别[博士学位论文].吉林:吉林大学,2012
[7] 齐礼成.基于人脸识别考勤系统的设计与实现[硕士学位论文].西安:西安电子科技大学,2012
[8] 苏秀梅.基于人脸识别的考勤系统设计实现[硕士学位论文].厦门:厦门大学,2015
[9] 赵伟彬.基于人脸识别的考勤系统设计实现[硕士学位论文].广东:广东工业大学,2016
[10] 黄伟前.基于人脸识别的考勤软件系统研究与设计[硕士学位论文].南京:南京理工大学,2015
[11] 焦李成,赵进,杨淑媛,刘芳. 深度学习、优化与识别. 北京:清华大学出版社,2017
系统的前台硬件包括1080P摄像头、电脑,后台硬件包括应用服务器和数据库服务器,前后台之间通过无线wifi或者以太网连接,系统内的数据通过以太网传输。通过1080P摄像头进行人脸图像的采集,通过网络传送至应用服务器上,应用服务器通过图像处理后和数据库服务器交互进行比对,比对的结果会通过网络显示到客户端上提供查询和统计。系统物理结构如图3-1所示。
本作品划分为四个主要模块:基本信息管理模块、考勤管理模块、班级管理模块、系统管理模块。为了保证系统的可用性和稳定性,还设置了综合查询、报表生成和设备管理等功能。本文主要针对系统的四个主要功能模块进行分析和介绍。系统功能模块划分如图3-2所示。
本作品的数据表包括学生信息表、教师信息表、样本图像信息表、班级信息表、课程信息表、考勤记录表。根据以上对数据库的分析,基于人脸识别的课堂考勤系统数据库中表的设计结果如下:
课堂考勤系统主要功能为两个部分。第一部分是通过移动终端采集学生人脸图像样本,第二部分是通过后台管理考勤记录。具体应用时,对学生人脸进行注册,采集样本人脸信息保存于数据库,使用深度学习算法,对数据库中注册学生的人脸数据集进行训练,其次在考勤管理过程中使用训练好的模型识别个人的人脸信息,确认身份,将识别结果生成考勤结果储存到数据库中。
进行考勤记录的过程是:教师在电脑客户端,选择当前课程,进入考勤界面,点击开始考勤进行人脸识别,不管失败和成功都会有语音提醒;如果未录入信息,则提醒同学进行信息的录入;如果考勤成功则会写入数据库;如果考勤失败则可以向老师申请,手动添加。考勤管理模块主要是针对学生考勤进行等级,统计班级学生出勤情况。其中包括,考勤设置,考勤记录统计和出勤状况调整。
(1)学生信息采集
该功能是指,按照相关要求采集学生个人的人脸图像,进行注册,在不同环境、不同角度下采集15张图片样本,作为个人信息库,系统会对这些图像首先进行人脸对齐,光照归一等预处理,之后使用深度学习算法进行训练,得到的模型用于提取特征。
(2)考勤管理
该功能主要是针对考勤记录进行审核,针对考勤规定,通过考勤记录生成统计报表。具体流程是由教师设置考勤模式,默认为固定考勤模式,比如上课前10分钟完成考勤;另一种是随机考勤,比如课后60分钟,临下课前10分钟考勤。考勤结束后,教师可以通过电脑端应用查看考勤结果,其中没有考勤的同学会显示出来,教师可以根据实际情况调整(其中考勤异常、请假、旷课)的学生,最后教师可以通过考勤结果生成报表,查看班级学生考勤情况。
(3)人脸识别技术流程
人脸识别技术原理简单来讲主要是三大步骤:一是建立一个包含大批量人脸图像的数据库;二是通过各种方式来获得当前要进行识别的目标人脸图像;三是将目标人脸图像与数据库中既有的人脸图像进行比对和筛选。 根据人脸识别技术原理具体实施起来的技术流程则主要包含以下四个部分,即人脸图像的采集与预处理、人脸检测、人脸特征提取、人脸识别和活体鉴别。人脸识别技术流程如图3-3所示。
(4) 考勤结果申报
在检测和识别了人脸特征信息获取了考勤记录后,系统对考勤结果进行记录。系统内的考勤结果由正常、请假、缺勤、异常。其中请假需要核实情况后,由教师手动添加。如果有学生来到教室,却考勤异常,需要由教师手动调整,以保证考勤结果的公平性。
(1)基本信息管理
系统管理员可以实现班级管理,人员管理和课程管理,数据查询统计和数据库备份等功能,系统管理具有最高的权限。
在选择人员管理中有添加人员、删除人员和人员权限设置三个功能。如果发现添加的人员信息有误,可以直接进行修改学生信息。
(2)课程管理
在选择需要考勤的班级后,进入课程添加页面,在该页面可以添加课程名称和上课时间,并可以再次页面上设定固定的考勤时间段。
(3)学生考勤管理
教师到教室后打开电脑端应用,学生进行人脸识别签到,可以单人次可以多人次同时进行考勤。初次使用时,可以先查询个人信息是否录入错误,如果错误可以联系老师修改。考勤时段限制在课前,上课之后,自动退出考勤系统,并生成考勤结果,输出签到、迟到、未到的同学名单。待老师确认情况后(如果有同学请假或者特殊情况,说明原因后,由老师修改考勤记录),生成考勤结果,提交到数据库服务器保存。
(4)教师考勤管理
教师通过工号及密码登陆系统,系统会根据录入的信息,显示当前时段的上课情况。开始考勤之后,系统会根据老师之前设置的考勤方式进行考勤。教师可以实时查看考勤结果,如果有漏考勤或人脸识别不通过的同学,教师可以手动调整考勤结果,并可以通过学号或名字添加请假同学。
管理员或教师可以使用自己的账号登陆系统,在固定周期的每个考勤统计日期,系统会自动将上月的考勤记录进统计和分析,按照班级和课程等将考勤记录统计出来,统计内容包括班级、考勤记录、考勤结果、请假、缺勤信息等。管理员或教师也可以查询某一位同学的出勤记录。
(1)测试管理员和教师的各项功能是否完善,例如:添加删除功能,以及系统是否正常运转。
(2)监测系统录入的信息是否与学生信息匹配,是否可进行人脸识别,查看自己的考勤记录。
(3)测试人脸识别模型在实际应用过程中是否准确,比如识别人数达到一千人。
(4)测试在windows10系统下的应用是否运行稳定,运行流畅,比如是否存在卡死的情况。
(5)系统的各项功能是否完善,是否可以实现后台的管理,数据库的读写是否存在问题。
(1)人脸图像的采集
采集人脸图像通常情况下有两种途径,分别是既有人脸图像的批量导入和人脸图像的实时采集。我们首先使用1080P摄像头集中采集每个人20张在不同角度、不同光照条件下的照片,构建人脸数据库。之后在进行人脸识别过程中,保存每次识别的照片。并过滤掉不符合人脸识别质量要求或者是清晰度质量较低的人脸图像,尽可能的做到清晰精准的采集。
(2)人脸图像的预处理
人脸图像的预处理的目的是在系统对人脸图像的检测基础之上,对人脸图像做出进一步的处理以利于人脸图像的特征提取。 人脸图像的预处理具体而言是指对系统采集到的人脸图像进行光线、旋转、切割、过滤、 降噪、放大缩小等一系列的复杂处理过程来使得该人脸图像无论是从光线、角度、距离、大小等任何方面来看,均能够符合人脸图像的特征提取的标准要求。 在现实环境下采集图像,由于图像受到光线明暗不同、脸部表情变化、阴影遮挡等众多外在因素的干扰,导致采集图像质量不理想,那就需要先对采集到的图像预处理,如果图像预处理不好,将会严重影响后续的人脸检测与识别。本作品使用了三种图像预处理手段,即灰度调整、图像滤波、图像尺寸归一化。
一张包含人脸图像的图片通常情况下可能还会包含其他内容,这时候就需要进行必要的人脸检测。也就是在一张人脸图像之中,系统会精准的定位出人脸的位置和大小,在挑选出有用的图像信息的同时,自动剔除掉其他多余的图像信息来进一步的保证人脸图像的精准采集。人脸检测是人脸识别中的重要组成部分。本作品使用基于Harr特征的级联分类器在进行人脸的检测,它把弱分类器串联成强分类器,这样就能做到速度和精度的双提高。
目前主流的人脸识别系统可支持使用的特征通常可分为人脸视觉特征、人脸图像像素统计特征等,而人脸图像的特征提取就是针对人脸上的一些具体特征来提取的。特征简单,匹配算法则简单,适用于大规模的建库;反之,则适用于小规模库。特征提取的方法一般包括基于知识的提取方法或者基于代数特征的提取方法。 以基于知识的人脸识别提取方法中的一种为例,因为人脸主要是由眼睛、额头、鼻子、 耳朵、下巴、嘴巴等部位组成,对这些部位以及它们之间的结构关系都是可以用几何形状特征来进行描述的,也就是说每一个人的人脸图像都可以有一个对应的几何形状特征,它可以帮助我们作为识别人脸的重要差异特征。
我们可以在人脸识别系统中设定一个人脸的相似程度的数值,再将对应的人脸图像与系统数据库中的所有人脸图像进行比对,若超过了预设的相似数值,那么系统将会把超过的人脸图像逐个输出,此时我们就需要根据人脸图像的相似程度高低和人脸本身的身份信息来进行精确筛选,这一精确筛选的过程又可以分为两类:其一是一对一的筛选,即对人脸身份进行确认过程;其二是一对多的筛选,即根据人脸相似程度进行匹配比对的过程。本作品是一对多的识别过程,基于ResNet-34网络架构进行训练,但层数较少,滤波器减少一半;它包含一个triplet训练步骤。triplet包含三种不同的脸,其中两张是一个人。该神经网络为人脸图像生成128维向量。如果是同一个人的脸,就调整神经网络权重,让矢量距离更接近。网络量化人脸,为每张人脸构建了128维嵌入(量化)。之后调整神经网络的权重,以使两个相同人脸的128维的度量更接近,并远离不同的人脸。
生物特征识别的共同问题之一就是要区别该信号是否来自于真正的生物体,比如,指纹识别系统需要区别带识别的指纹是来自于人的手指还是指纹手套,人脸识别系统所采集到的人脸图像,是来自于真实的人脸还是含有人脸的照片。因此,实际的人脸识别系统一般需要增加活体鉴别环节,例如,要求人左右转头,眨眼睛,开开口说句话等。本作品将综合使用这三种方法进行活体鉴别。
2018年11月—2018年12月,完成小批量人脸图像的采集,同时编写人脸识别程序;
2018年12月—2019年1月,研究对比多种人脸识别算法,在业内公认的数据集上进行训练,从中选取最优算法进行部署测试,同时开始前端应用的设计开发,其中包括数据库编程、图像预处理相关程序的编写;
2019年1月—2019年2月,采集本班人脸图像,使用选出的最优算法进行训练,进行测试;开始研究实现活体检测技术;并开始完善前端应用的功能;
2019年2月—2019年3月,完成人脸识别考勤前端应用的基本功能和其它功能的设计;
2019年3月—2019年4月,进行系统最后的集成,并逐步优化运行速度和模型识别效率,测试整体框架的功能完整性和稳定性,并进行修复和改进。如果再有时间,则扩展其他功能。
人脸识别的优势在于:
经过以上的优势可以看出,人脸识别应用在课堂考勤中,是当前最佳的考勤方式。
本作品最终的成果展示形式是包含摄像头和电脑端的应用程序。它具有以下四个指标:
本作品的特点是使用2D成像摄像头,辅以数据库编程、电脑端程序开发、深度学习人脸识别、活体检测等技术手段,设计了功能完善的电脑应用程序,来完成身份信息的录入和身份的验证,当完成人脸识别后,会将考勤信息自动统计出来,并将考勤结果写入数据库,方便管理员和老师的查询。本作品的创新之处是: