基于opencv-python的人脸识别系统

基本步骤

人脸采集

摄像头实时的采集图片

人脸检测方法

人脸检测在实际中主要用于人脸识别的预处理，人脸图像中包含的模式特征十分丰富，如直方图特征、颜色特征、模板特征、结构特征及Haars特征等。人脸检测就是把这其中有用的信息挑出来，并利用这些特征实现人脸检测。

图像预处理

对于人脸的图像预处理是对图像进行处理并最终服务于特征提取的过程。系统获取的原始图像后，由于受到各种条件的限制和随机干扰，往往不能直接使用，必须在图像处理的早期阶段对它进行灰度校正、噪声过滤等图像预处理。对于人脸图像而言，其预处理过程主要包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。

人脸提取

人脸识别系统可使用的特征通常分为视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等。人脸特征提取就是针对人脸的某些特征进行的。它是对人脸进行特征建模的过程。人脸特征提取的方法归纳起来分为两大 类：一种是基于知识的表征方法；另外一种是基于代数特征或统计学习的表征方法。

匹配与识别

提取的人脸图像的特征数据与数据库中存储的特征模板进行搜索匹配，通过设定一个阈值，当相似度超过这一阈值，则把匹配得到的结果输出。人脸识别就是将待识别的人脸特征与已得到的人脸特征模板进行比较，根据相似程度对人脸的身份信息进行判断。
这一过程又分为两类：一类是一对一 进行图像比较的过程，另一类是一对多进行图像匹配对比的过程。

程序设计

1.初始化阶段

整体程序架构

首先读取config.txt文件，文件中第一行代表当前已经储存的人名个数，接下来每一行是二元组（id，name）即标签和对应的人名
读取结果存到以下两个全局变量中。

id_dict = {}  # 字典里存的是id——name键值对
Total_face_num = 0  # 已经被识别有用户名的人脸个数,

定义初始化函数init() 将config文件内的信息读入到字典中

def init():  # 将config文件内的信息读入到字典中
    f = open('config.txt')
    global Total_face_num
    Total_face_num = int(f.readline())

    for i in range(int(Total_face_num)):  # 0 ~ (Total_face_num - 1)
        line = f.readline()
        id_name = line.split(' ')
        id_dict[int(id_name[0])] = id_name[1]
    f.close()

加载人脸检测分类器Haar，并准备好识别方法LBPH方法,然后打开标号为0的摄像头

# 加载OpenCV人脸检测分类器Haar
face_cascade = cv2.CascadeClassifier("C:/Users/17616/AppData/Roaming/Python/Python39/site-packages/cv2/data/haarcascade_frontalface_default.xml")
# 每个人的xml文件位置都不一样，自行百度怎么查找

# 准备好识别方法LBPH方法
recognizer = cv2.face.LBPHFaceRecognizer_create()

# 打开标号为0的摄像头
camera = cv2.VideoCapture(0, cv2.CAP_DSHOW)  # 摄像头
success, img = camera.read()  # 从摄像头读取照片
W_size = 0.1 * camera.get(3)
H_size = 0.1 * camera.get(4)

2.录入人脸

创建文件夹data用于储存本次从摄像头采集到的照片，每次调用前先清空这个目录。
然后是一个循环，循环次数为需要采集的样本数，摄像头拍摄取样的数量,越多效果越好，但获取以及训练的越慢。
循环内调用camera.read()返回值赋给全局变量success,和img 用于在GUI中实时显示。
然后调用cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)用于将采集到的图片转为灰度图片减少计算量。
然后利用加载好的人脸分类器将每一帧摄像头记录的数据带入OpenCv中，让Classifier判断人脸。

2.1录入新人脸

def Get_new_face(User):
    print("正在从摄像头录入新人脸信息 \n")

    # 存在目录data就清空，不存在就创建，确保最后存在空的data目录
    filepath = "data"
    if not os.path.exists(filepath):
        os.mkdir(filepath)
    else:
        shutil.rmtree(filepath)
        os.mkdir(filepath)

    sample_num = 0  # 已经获得的样本数

    while True:  # 从摄像头读取图片
        global success
        global img  # 因为要显示在可视化的控件内，所以要用全局的
        success, img = camera.read()

        # 转为灰度图片
        if success is True:
            gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
        else:
            break

        # 检测人脸，将每一帧摄像头记录的数据带入OpenCv中，让Classifier判断人脸
        # 其中gray为要检测的灰度图像，1.3为每次图像尺寸减小的比例，5为minNeighbors
        face_detector = face_cascade
        faces = face_detector.detectMultiScale(gray, 1.3, 5)

        # 框选人脸，for循环保证一个能检测的实时动态视频流
        for (x, y, w, h) in faces:
            # xy为左上角的坐标,w为宽，h为高，用rectangle为人脸标记画框
            cv2.rectangle(img, (x, y), (x + w, y + w), (255, 0, 0))
            # 样本数加1
            sample_num += 1
            # 保存图像，把灰度图片看成二维数组来检测人脸区域，这里是保存在data缓冲文件夹内
            T = Total_face_num
            # cv2.imwrite("./data/User." + str(T) + '.' + str(sample_num) + '.jpg', gray[y:y + h, x:x + w])
            cv2.imwrite("./data/"+User+"." + str(T) + '.' + str(sample_num) + '.jpg', gray[y:y + h, x:x + w])

        pictur_num = 130  # 表示摄像头拍摄取样的数量,越多效果越好，但获取以及训练的越慢

        cv2.waitKey(1)
        if sample_num > pictur_num:
            break
        else:  # 控制台内输出进度条
            l = int(sample_num / pictur_num * 50)
            r = int((pictur_num - sample_num) / pictur_num * 50)
            print("\r" + "%{:.1f}".format(sample_num / pictur_num * 100) + "=" * l + "->" + "_" * r, end="")
            var.set("%{:.1f}".format(sample_num / pictur_num * 100))  # 控件可视化进度信息
            # tk.Tk().update()
            window.update()  # 刷新控件以实时显示进度

2.2训练识别器

读取data文件夹，读取照片内的信息，得到两个数组，一个faces存的是所有脸部信息、一个ids存的是faces内每一个脸部对应的标签，然后将这两个数组传给 recog.train用于训练。

def Train_new_face():
    print("\n正在训练")
    # cv2.destroyAllWindows()
    path = 'data'

    # 初始化识别的方法
    recog = cv2.face.LBPHFaceRecognizer_create()

    # 调用函数并将数据喂给识别器训练
    faces, ids = get_images_and_labels(path)
    print('本次用于训练的识别码为:')  # 调试信息
    print(ids)  # 输出识别码

    # 训练模型  #将输入的所有图片转成四维数组
    recog.train(faces, np.array(ids))
    # 保存模型

    yml = str(Total_face_num) + ".yml"
    rec_f = open(yml, "w+")
    rec_f.close()
    recog.save(yml)

2.3修改config.txt文件

每一次训练结束都要修改配置文件，具体要修改的地方是第一行和最后一行。
第一行有一个整数代表当前系统已经录入的人脸的总数，每次修改都加一。这里修改文件的方式是先读入内存，然后修改内存中的数据，最后写回文件。
还要在最后一行加入一个二元组用以标识用户。
格式为：标签+空格+用户名+空格，用户名为自定义

def write_config():
    print("新人脸训练结束")
    f = open('config.txt', "a")
    T = Total_face_num
    User = getuser()
    f.write(str(T) + ' ' + User + str(T) + " \n")
    f.close()
    id_dict[T] = User + str(T)

    # 这里修改文件的方式是先读入内存，然后修改内存中的数据，最后写回文件
    f = open('config.txt', 'r+')
    flist = f.readlines()
    flist[0] = str(int(flist[0]) + 1) + " \n"
    f.close()

    f = open('config.txt', 'w+')
    f.writelines(flist)
    f.close()

3.人脸识别

由于这里采用多个.yml文件来储存识别器（实际操作时储存在一个文件中识别出错所以采用这种方式），所以在识别时需要遍历所有的.yml文件，如果每一个都不能识别才得出无法识别的结果，相反只要有一个可以识别当前对象就返回可以识别的结果。而对于每一个文件都识别十次人脸，若成功五次以上则表示最终结果为可以识别，否则表示当前文件无法识别这个人脸。

识别过程中在GUI的控件中实时显示拍摄到的内容，并在人脸周围画一个矩形框，并根据识别器返回的结果实时显示在矩形框附近。

idnum, confidence = recognizer.predict(gray[y:y + h, x:x + w])
# 加载一个字体用于输出识别对象的信息
font = cv2.FONT_HERSHEY_SIMPLEX
# 输出检验结果以及用户名
cv2.putText(img, str(user_name), (x + 5, y - 5), font, 1, (0, 0, 255), 2)
cv2.putText(img, str(confidence), (x + 5, y + h - 5), font, 1, (0, 0, 0), 2)

3.1多线程

程序的两个功能之间可以独立运行，就需要采用多线程的方法，但当遇到临界资源的使用时，多个进程/线程之间就要互斥的访问以免出错，本程序中具体的设计方法：
本程序采用多线程的方法实现并行。

程序的三个按钮对应着三个功能，分别是录入人脸、人脸检测、退出程序。
由于程序中的用户界面是利用python中的tkinter库做的，其按钮的响应函数用command指出，所以这里在每个command跳转到的函数中设置多线程，每敲击一次就用threading.Thread创建一个新的线程，然后在新的线程的处理函数target中实现按钮原本对应的功能。
在涉及到摄像头的访问时，线程之间需要互斥的访问，所以设置了一个全局的变量system_state_lock 来表示当前系统的状态，用以实现带有优先级的互斥锁的功能。

p = threading.Thread(target=f_scan_face_thread)

锁状态为0表示摄像头未被使用，1表示正在刷脸，2表示正在录入新面容。
程序在实际执行的过程中如果状态为0，则无论是刷脸还是录入都能顺利执行，如果状态为1表示正在刷脸，如果此时敲击刷脸按钮则，系统会提示正在刷脸并拒绝新的请求，如果此时敲击录入面容按钮，由于录入面容优先级比刷脸高，所以原刷脸线程会被阻塞，

global system_state_lock
while system_state_lock == 2:  # 如果正在录入新面孔就阻塞
	  pass

新的录入面容进程开始执行并修改系统状态为2，录入完成后状态变为原状态，被阻塞的刷脸进程继续执行，录入人脸线程刚执行完录入阶段现在正在训练，此时有两个线程并行，以此来保证训练数据的同时不影响系统的使用。

对于退出的功能，直接在函数内调用exit()，但是python的线程会默认等待子线程全部结束再退出，所以用p.setDaemon(True)将线程设置为守护线程，这样在主线程退出之后其它线程也都退出从而实现退出整个程序的功能。

4.测试运行

4.1环境配置
python 3.9.0
需要的库如下：

import cv2
import numpy as np
import os
import shutil
import threading
import tkinter as tk
from PIL import Image, ImageTk

完整代码：
gitee地址：

待完善
https://gitcode.net/qq_46173016/opencv-python/-/blob/master/main.py

演示地址：

https://www.bilibili.com/video/BV1U84y1q7jD/?vd_source=24b99537ea4498ba236945b625acf9e5