Dlib模型实现人脸识别

一、安装dlib库

下载Dlib安装包
下载链接：http://dlib.net/files/
本文章下载的是dlib-19.14.zip，下载完成后解压安装dlib
安装Cmake
下载链接：https://cmake.org/download/
下载安装包直接点击安装就行，注意环境变量的设置
下载boost
下载链接：http://www.boost.org/
下载之后将其解压缩，进入解压后的文件夹中，找到bootstrap.bat批处理文件，双击运行，等待运行完成后（命令行自动消失）会生成文件b2.exe
win+R，打开命令行，进入b2.exe所在的文件夹，运行下面命令

b2 install

b2编译库文件

b2 -a -python address-model=64 toolset=msvc runtime-link=static
#cmake下载的64位这里（address-model）写64，如果是32位的就把之前的64改成32

安装完成后配置boost环境变量

安装dlib
命令行进入dlib的文件夹中

python setup.py install

安装完成后，在文件夹下面会出现dlib，dlib.egg-info，dist的三个文件夹
将dlib 和dlib.egg-info 复制对应python环境下的Lib文件，同时将build\lib.win-amd64-3.6文件夹下的dlib.cp36-win_amd64.pyd复制到对应python环境下的DLL文件夹
测试是否安装成功（没有报错，表示安装成功）

二、利用dlib实现人脸68个关键点检测并标注

1.下载官方的训练模型
下载链接：http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2

2.人脸检测和标注

import numpy as np
import cv2
import dlib 

#detector = dlib.get_frontal_face_detector()
detector=dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor('E:\\PersonRecognitionDlib\\shape_predictor_68_face_landmarks.dat\\shape_predictor_68_face_landmarks.dat')

# cv2读取图像
img = cv2.imread("E:\\PersonRecognitionDlib\\text.jpg")
#print(img)
# 取灰度
img_gray = cv2.cvtColor(img, cv2.COLOR_RGB2GRAY)

# 人脸数rects
rects = detector(img_gray, 1)
for i in range(len(rects)):
    landmarks = np.matrix([[p.x, p.y] for p in predictor(img,rects[i]).parts()])
    for idx, point in enumerate(landmarks):
        # 68点的坐标
        pos = (point[0, 0], point[0, 1])
        print(idx,pos)

        # 利用cv2.circle给每个特征点画一个圈，共68个
        cv2.circle(img, pos, 5, color=(0, 255, 0))
        # 利用cv2.putText输出1-68
        font = cv2.FONT_HERSHEY_SIMPLEX
        cv2.putText(img, str(idx+1), pos, font, 0.8, (0, 0, 255), 1,cv2.LINE_AA)

cv2.namedWindow("img", 2)
cv2.imshow("img", img)
cv2.waitKey(0)

结果

三、人脸特征提取

1.人脸数据集
①使用摄像头采集（视频流截图）
采集的过程，最好使用同一设备同一光线下进行采集

import cv2
import dlib
import os
import sys
import random
# 存储位置
output_dir = 'D:/myworkspace/JupyterNotebook/People/person/person1'
size = 64
 
if not os.path.exists(output_dir):
    os.makedirs(output_dir)
# 改变图片的亮度与对比度
 
def relight(img, light=1, bias=0):
    w = img.shape[1]
    h = img.shape[0]
    #image = []
    for i in range(0,w):
        for j in range(0,h):
            for c in range(3):
                tmp = int(img[j,i,c]*light + bias)
                if tmp > 255:
                    tmp = 255
                elif tmp < 0:
                    tmp = 0
                img[j,i,c] = tmp
    return img
 
#使用dlib自带的frontal_face_detector作为我们的特征提取器
detector = dlib.get_frontal_face_detector()
# 打开摄像头 参数为输入流，可以为摄像头或视频文件
camera = cv2.VideoCapture(0)
index = 1
while True:
    if (index <= 15):#存储15张人脸特征图像
        print('Being processed picture %s' % index)
        # 从摄像头读取照片
        success, img = camera.read()
        # 转为灰度图片
        gray_img = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
        # 使用detector进行人脸检测
        dets = detector(gray_img, 1)
 
        for i, d in enumerate(dets):
            x1 = d.top() if d.top() > 0 else 0
            y1 = d.bottom() if d.bottom() > 0 else 0
            x2 = d.left() if d.left() > 0 else 0
            y2 = d.right() if d.right() > 0 else 0
 
            face = img[x1:y1,x2:y2]
            # 调整图片的对比度与亮度， 对比度与亮度值都取随机数，这样能增加样本的多样性
            face = relight(face, random.uniform(0.5, 1.5), random.randint(-50, 50))
 
            face = cv2.resize(face, (size,size))
 
            cv2.imshow('image', face)
 
            cv2.imwrite(output_dir+'/'+str(index)+'.jpg', face)
 
            index += 1
        key = cv2.waitKey(30) & 0xff
        if key == 27:
            break
    else:
        print('Finished!')
        # 释放摄像头 release camera
        camera.release()
        # 删除建立的窗口 delete all the windows
        cv2.destroyAllWindows()
        break

在对应的输出目录下，会得到15张摄像头采集得到的图片。
②网络爬虫获取
具体内容可以参考链接：
https://blog.csdn.net/cungudafa/article/details/87862687
数据集的处理
获取特征点
①下载dlib的人脸识别模型
下载链接：
https://pan.baidu.com/s/1sBH4TvIfIYLFYs7zCTH4nA
提取码：b8zu
②获取每个人68个特征数据并保存到csv中

from cv2 import cv2 as cv2
import os
import dlib
from skimage import io
import csv
import numpy as np

# 要读取人脸图像文件的路径
path_images_from_camera = "E:/PersonRecognitionDlib/Person/"

# Dlib 正向人脸检测器
detector = dlib.get_frontal_face_detector()

# Dlib 人脸预测器
predictor = dlib.shape_predictor("E:/PersonRecognitionDlib/model/shape_predictor_68_face_landmarks.dat")

# Dlib 人脸识别模型
# Face recognition model, the object maps human faces into 128D vectors
face_rec = dlib.face_recognition_model_v1("E:/PersonRecognitionDlib/model/dlib_face_recognition_resnet_model_v1.dat")


# 返回单张图像的 128D 特征
def return_128d_features(path_img):
    img_rd = io.imread(path_img)
    img_gray = cv2.cvtColor(img_rd, cv2.COLOR_BGR2RGB)
    faces = detector(img_gray, 1)

    print("%-40s %-20s" % ("检测到人脸的图像 / image with faces detected:", path_img), '\n')

    # 因为有可能截下来的人脸再去检测，检测不出来人脸了
    # 所以要确保是 检测到人脸的人脸图像 拿去算特征
    if len(faces) != 0:
        shape = predictor(img_gray, faces[0])
        face_descriptor = face_rec.compute_face_descriptor(img_gray, shape)
    else:
        face_descriptor = 0
        print("no face")

    return face_descriptor


# 将文件夹中照片特征提取出来, 写入 CSV
def return_features_mean_personX(path_faces_personX):
    features_list_personX = []
    photos_list = os.listdir(path_faces_personX)
    if photos_list:
        for i in range(len(photos_list)):
            # 调用return_128d_features()得到128d特征
            print("%-40s %-20s" % ("正在读的人脸图像 / image to read:", path_faces_personX + "/" + photos_list[i]))
            features_128d = return_128d_features(path_faces_personX + "/" + photos_list[i])
            #  print(features_128d)
            # 遇到没有检测出人脸的图片跳过
            if features_128d == 0:
                i += 1
            else:
                features_list_personX.append(features_128d)
    else:
        print("文件夹内图像文件为空 / Warning: No images in " + path_faces_personX + '/', '\n')

    # 计算 128D 特征的均值
    # N x 128D -> 1 x 128D
    if features_list_personX:
        features_mean_personX = np.array(features_list_personX).mean(axis=0)
    else:
        features_mean_personX = '0'

    return features_mean_personX


# 读取某人所有的人脸图像的数据
people = os.listdir(path_images_from_camera)
people.sort()

with open("E:/PersonRecognitionDlib/feature/features2_all.csv", "w", newline="") as csvfile:
    writer = csv.writer(csvfile)
    for person in people:
        print("##### " + person + " #####")
        # Get the mean/average features of face/personX, it will be a list with a length of 128D
        features_mean_personX = return_features_mean_personX(path_images_from_camera + person)
        writer.writerow(features_mean_personX)
        print("特征均值 / The mean of features:", list(features_mean_personX))
        print('\n')
    print("所有录入人脸数据存入 / Save all the features of faces registered into: D:/myworkspace/JupyterNotebook/People/feature/features_all2.csv")

结果如下

3.总结

通过本次实验，熟悉了人脸特征值提取的基本步骤，进一步了解了dlib库和OpenCV的使用原理，实现了简单的人脸识别功能。

4.参考链接

https://blog.csdn.net/qq_43279579/article/details/117637044