Python 3 利用 Dlib 实现摄像头实时人脸识别

0. 引言

利用 Python 开发，借助 Dlib 库捕获摄像头中的人脸，提取人脸特征，通过计算特征值之间的欧氏距离，来和预存的人脸特征进行对比，判断是否匹配，达到人脸识别的目的；

可以从摄像头中抠取人脸图片存储到本地，然后提取构建预设人脸特征；

根据抠取的 / 已有的同一个人多张人脸图片提取 128D 特征值，然后计算该人的 128D 特征均值；

然后和摄像头中实时获取到的人脸提取出的特征值，计算欧氏距离，判定是否为同一张人脸；　　

Python + OpenCv + Dlib ; 　　

 

1. 人脸检测

faces = detector(img_gray, 0) -> -> 

2. 计算特征点

shape = predictor(img_rd, faces[i]) -> -> 

3. 特征描述子

facerec.compute_face_descriptor(img_rd, shape) ->

 

博客中代码以 GitHub 为准，博客中可能没有更新；

　　# Blog : 　　 http://www.cnblogs.com/AdaminXie
　　# GitHub : 　 https://github.com/coneypo/Dlib_face_recognition_from_camera

Features :

• 支持人脸数据采集，自行建立人脸数据库 / Support face register
• 调用摄像头实时人脸检测和识别 / Using camera to real-time detect and recognize faces
• 支持多张人脸 / Support multi-faces

 

人脸识别 / Face Recognition 的说明：

Wikipedia 上关于人脸识别系统 / Face Recognition System 的描述：they work by comparing selected facial features from given image with faces within a database.

本项目中就是比较 预设的人脸的特征 和 摄像头实时获取到的人脸的特征 ；

核心就是 提取 128D 人脸特征，然后计算 摄像头人脸特征 和 预设的特征脸的欧式距离，进行比对；

 

效果如下：

　　 

图 1 摄像头多个人脸时识别效果 

 

1. 总体流程

先说下 人脸检测 ( Face detection ) 和 人脸识别 ( Face Recognition ) ，前者是达到检测出场景中人脸的目的就可以了，而后者不仅需要检测出人脸，还要和已有人脸数据进行比对，识别出是否在数据库中，或者进行身份标注之类处理，人脸检测和人脸识别两者有时候可能会被理解混淆；

我的之前一些项目都是用 Dlib 做人脸检测这块，这个项目想要实现的功能是人脸识别功能，借助的是 Dlib 官网中 face_recognition.py 这个例程 （ Link：http://dlib.net/face_recognition.py.html ）；

核心在于 利用“dlib_face_recognition_resnet_model_v1.dat” 这个 model，提取人脸图像的 128D 特征，然后比对不同人脸图片的 128D 特征，设定阈值 计算欧氏距离 来判断是否为同一张脸；

1 # face recognition model, the object maps human faces into 128D vectors
2 facerec = dlib.face_recognition_model_v1("dlib_face_recognition_resnet_model_v1.dat")
3 
4 shape = predictor(img, dets[0])
5 face_descriptor = facerec.compute_face_descriptor(img, shape)

 

　　 

 

图 2 总体设计流程

 

2.源码介绍

主要有

• get_faces_from_camera.py 
  
• features_extraction_to_csv.py
• face_reco_from_camera.py

这三个 Python 文件，接下来会分别介绍实现功能；

 

2.1 get_faces_from_camera.py / 人脸注册录入

人脸识别需要将 提取到的图像数据 和 已有图像数据 进行比对分析，所以这部分代码实现的功能就是 人脸录入；

程序会生成一个窗口，显示调用的摄像头实时获取的图像；

（关于摄像头的调用方式可以参考这里： Python 3 利用 Dlib 19.7 实现摄像头人脸检测特征点标定）；

　　

然后根据键盘输入进行人脸捕获：

• “N” 新录入人脸，新建文件夹 person_X/  用来存储某人的人脸图像
•   "S" 开始捕获人脸，将捕获到的人脸放到 person_X/ 路径下
• “Q” 退出窗口

　　

摄像头的调用是利用 opencv 库的 cv2.VideoCapture(0), 此处参数为 0 代表调用的是笔记本的默认摄像头，你也可以让它调用传入已有视频文件；

　

图 3  get_face_from_camera.py 的界面

 　　

捕获到的一组人脸示例；

图 4 捕获到的一组人脸

 

get_faces_from_camera.py 源码:

  1 # 进行人脸录入 / face register
  2 # 录入多张人脸 / support multi-faces
  3 
  4 # Author:   coneypo
  5 # Blog:     http://www.cnblogs.com/AdaminXie
  6 # GitHub:   https://github.com/coneypo/Dlib_face_recognition_from_camera
  7 # Mail:     [email protected]
  8 
  9 # Created at 2018-05-11
 10 # Updated at 2019-03-23
 11 
 12 import dlib         # 人脸处理的库 Dlib
 13 import numpy as np  # 数据处理的库 Numpy
 14 import cv2          # 图像处理的库 OpenCv
 15 
 16 import os           # 读写文件
 17 import shutil       # 读写文件
 18 
 19 # Dlib 正向人脸检测器 / frontal face detector
 20 detector = dlib.get_frontal_face_detector()
 21 
 22 # Dlib 68 点特征预测器 / 68 points features predictor
 23 predictor = dlib.shape_predictor('data/data_dlib/shape_predictor_68_face_landmarks.dat')
 24 
 25 # OpenCv 调用摄像头 use camera
 26 cap = cv2.VideoCapture(0)
 27 
 28 # 设置视频参数 set camera
 29 cap.set(3, 480)
 30 
 31 # 人脸截图的计数器 the counter for screen shoot
 32 cnt_ss = 0
 33 
 34 # 存储人脸的文件夹 the folder to save faces
 35 current_face_dir = ""
 36 
 37 # 保存 photos/csv 的路径 the directory to save photos/csv
 38 path_photos_from_camera = "data/data_faces_from_camera/"
 39 path_csv_from_photos = "data/data_csvs_from_camera/"
 40 
 41 
 42 # 新建保存人脸图像文件和数据CSV文件夹
 43 # mkdir for saving photos and csv
 44 def pre_work_mkdir():
 45 
 46     # 新建文件夹 / make folders to save faces images and csv
 47     if os.path.isdir(path_photos_from_camera):
 48         pass
 49     else:
 50         os.mkdir(path_photos_from_camera)
 51     if os.path.isdir(path_csv_from_photos):
 52         pass
 53     else:
 54         os.mkdir(path_csv_from_photos)
 55 
 56 
 57 pre_work_mkdir()
 58 
 59 
 60 ##### optional/可选, 默认关闭 #####
 61 # 删除之前存的人脸数据文件夹
 62 # delete the old data of faces
 63 def pre_work_del_old_face_folders():
 64     # 删除之前存的人脸数据文件夹
 65     # 删除 "/data_faces_from_camera/person_x/"...
 66     folders_rd = os.listdir(path_photos_from_camera)
 67     for i in range(len(folders_rd)):
 68         shutil.rmtree(path_photos_from_camera+folders_rd[i])
 69 
 70     csv_rd = os.listdir(path_csv_from_photos)
 71     for i in range(len(csv_rd)):
 72         os.remove(path_csv_from_photos+csv_rd[i])
 73 
 74 # 这里在每次程序录入之前, 删掉之前存的人脸数据
 75 # 如果这里打开，每次进行人脸录入的时候都会删掉之前的人脸图像文件夹
 76 # pre_work_del_old_face_folders()
 77 ##################################
 78 
 79 
 80 # 如果有之前录入的人脸
 81 # 在之前 person_x 的序号按照 person_x+1 开始录入
 82 # if old face exists, start from person_x+1
 83 if os.listdir("data/data_faces_from_camera/"):
 84     # 获取已录入的最后一个人脸序号
 85     person_list = os.listdir("data/data_faces_from_camera/")
 86     person_list.sort()
 87     person_num_latest = int(str(person_list[-1]).split("_")[-1])
 88     person_cnt = person_num_latest
 89 
 90 # 如果第一次存储或者没有之前录入的人脸, 按照 person_1 开始录入
 91 # start from person_1
 92 else:
 93     person_cnt = 0
 94 
 95 # 之后用来控制是否保存图像的 flag / the flag to control if save
 96 save_flag = 1
 97 
 98 # 之后用来检查是否先按 'n' 再按 's' / the flag to check if press 'n' before 's'
 99 press_n_flag = 0
100 
101 while cap.isOpened():
102     # 480 height * 640 width
103     flag, img_rd = cap.read()
104     kk = cv2.waitKey(1)
105 
106     img_gray = cv2.cvtColor(img_rd, cv2.COLOR_RGB2GRAY)
107     
108     # 人脸数 faces
109     faces = detector(img_gray, 0)
110 
111     # 待会要写的字体 / font to write
112     font = cv2.FONT_HERSHEY_COMPLEX
113 
114     # 按下 'n' 新建存储人脸的文件夹 / press 'n' to create the folders for saving faces
115     if kk == ord('n'):
116         person_cnt += 1
117         current_face_dir = path_photos_from_camera + "person_" + str(person_cnt)
118         os.makedirs(current_face_dir)
119         print('\n')
120         print("新建的人脸文件夹 / Create folders: ", current_face_dir)
121 
122         cnt_ss = 0              # 将人脸计数器清零 / clear the cnt of faces
123         press_n_flag = 1        # 已经按下 'n' / have pressed 'n'
124 
125     # 检测到人脸 / if face detected
126     if len(faces) != 0:
127         # 矩形框
128         # show the rectangle box
129         for k, d in enumerate(faces):
130             # 计算矩形大小
131             # we need to compute the width and height of the box
132             # (x,y), (宽度width, 高度height)
133             pos_start = tuple([d.left(), d.top()])
134             pos_end = tuple([d.right(), d.bottom()])
135 
136             # 计算矩形框大小 / compute the size of rectangle box
137             height = (d.bottom() - d.top())
138             width = (d.right() - d.left())
139 
140             hh = int(height/2)
141             ww = int(width/2)
142 
143             # 设置颜色 / the color of rectangle of faces detected
144             color_rectangle = (255, 255, 255)
145             if (d.right()+ww) > 640 or (d.bottom()+hh > 480) or (d.left()-ww < 0) or (d.top()-hh < 0):
146                 cv2.putText(img_rd, "OUT OF RANGE", (20, 300), font, 0.8, (0, 0, 255), 1, cv2.LINE_AA)
147                 color_rectangle = (0, 0, 255)
148                 save_flag = 0
149             else:
150                 color_rectangle = (255, 255, 255)
151                 save_flag = 1
152 
153             cv2.rectangle(img_rd,
154                           tuple([d.left() - ww, d.top() - hh]),
155                           tuple([d.right() + ww, d.bottom() + hh]),
156                           color_rectangle, 2)
157 
158             # 根据人脸大小生成空的图像 / create blank image according to the size of face detected
159             im_blank = np.zeros((int(height*2), width*2, 3), np.uint8)
160 
161             if save_flag:
162                 # 按下 's' 保存摄像头中的人脸到本地 / press 's' to save faces into local images
163                 if kk == ord('s'):
164                     # 检查有没有先按'n'新建文件夹 / check if you have pressed 'n'
165                     if press_n_flag:
166                         cnt_ss += 1
167                         for ii in range(height*2):
168                             for jj in range(width*2):
169                                 im_blank[ii][jj] = img_rd[d.top()-hh + ii][d.left()-ww + jj]
170                         cv2.imwrite(current_face_dir + "/img_face_" + str(cnt_ss) + ".jpg", im_blank)
171                         print("写入本地 / Save into：", str(current_face_dir) + "/img_face_" + str(cnt_ss) + ".jpg")
172                     else:
173                         print("请在按 'S' 之前先按 'N' 来建文件夹 / Please press 'N' before 'S'")
174 
175     # 显示人脸数 / show the numbers of faces detected
176     cv2.putText(img_rd, "Faces: " + str(len(faces)), (20, 100), font, 0.8, (0, 255, 0), 1, cv2.LINE_AA)
177 
178     # 添加说明 / add some statements
179     cv2.putText(img_rd, "Face Register", (20, 40), font, 1, (0, 0, 0), 1, cv2.LINE_AA)
180     cv2.putText(img_rd, "N: New face folder", (20, 350), font, 0.8, (0, 0, 0), 1, cv2.LINE_AA)
181     cv2.putText(img_rd, "S: Save current face", (20, 400), font, 0.8, (0, 0, 0), 1, cv2.LINE_AA)
182     cv2.putText(img_rd, "Q: Quit", (20, 450), font, 0.8, (0, 0, 0), 1, cv2.LINE_AA)
183 
184     # 按下 'q' 键退出 / press 'q' to exit
185     if kk == ord('q'):
186         break
187 
188     # 如果需要摄像头窗口大小可调 / uncomment this line if you want the camera window is resizeable
189     # cv2.namedWindow("camera", 0)
190 
191     cv2.imshow("camera", img_rd)
192 
193 # 释放摄像头 / release camera
194 cap.release()
195 
196 cv2.destroyAllWindows()

 

考虑到有可能需要保存的矩形框超出摄像头范围，对于这种异常，如果矩形框超出范围，矩形框会从白变红，然后提示 "OUT OF RANGE";

图 5 人脸录入异常处理

 

get_face_from_camera.py 的输出 log

新建的人脸文件夹 / Create folders:  data/data_faces_from_camera/person_1
写入本地 / Save into： data/data_faces_from_camera/person_1/img_face_1.jpg
写入本地 / Save into： data/data_faces_from_camera/person_1/img_face_2.jpg
写入本地 / Save into： data/data_faces_from_camera/person_1/img_face_3.jpg
写入本地 / Save into： data/data_faces_from_camera/person_1/img_face_4.jpg


新建的人脸文件夹 / Create folders:  data/data_faces_from_camera/person_2
写入本地 / Save into： data/data_faces_from_camera/person_2/img_face_1.jpg
写入本地 / Save into： data/data_faces_from_camera/person_2/img_face_2.jpg


新建的人脸文件夹 / Create folders:  data/data_faces_from_camera/person_3
写入本地 / Save into： data/data_faces_from_camera/person_3/img_face_1.jpg
写入本地 / Save into： data/data_faces_from_camera/person_3/img_face_2.jpg

 

 

2.2 features_extraction_to_csv.py / 将图像文件中人脸数据提取出来存入 CSV

这部分代码实现的功能是将之前捕获到的人脸图像文件，提取出 128D 特征，然后计算出某人人脸数据的特征均值存入 CSV 中，方便之后识别时候进行比对；

利用 numpy.mean() 计算特征均值；

 

features_extraction_to_csv.py 源码:

 

 1 # 从人脸图像文件中提取人脸特征存入 CSV
 2 # Features extraction from images and save into features_all.csv
 3 
 4 # Author:   coneypo
 5 # Blog:     http://www.cnblogs.com/AdaminXie
 6 # GitHub:   https://github.com/coneypo/Dlib_face_recognition_from_camera
 7 # Mail:     [email protected]
 8 
 9 # Created at 2018-05-11
10 # Updated at 2019-04-04
11 
12 # return_128d_features()          获取某张图像的128D特征
13 # compute_the_mean()              计算128D特征均值
14 
15 import cv2
16 import os
17 import dlib
18 from skimage import io
19 import csv
20 import numpy as np
21 
22 # 要读取人脸图像文件的路径
23 path_images_from_camera = "data/data_faces_from_camera/"
24 
25 # Dlib 正向人脸检测器
26 detector = dlib.get_frontal_face_detector()
27 
28 # Dlib 人脸预测器
29 predictor = dlib.shape_predictor("data/data_dlib/shape_predictor_5_face_landmarks.dat")
30 
31 # Dlib 人脸识别模型
32 # Face recognition model, the object maps human faces into 128D vectors
33 face_rec = dlib.face_recognition_model_v1("data/data_dlib/dlib_face_recognition_resnet_model_v1.dat")
34 
35 
36 # 返回单张图像的 128D 特征
37 def return_128d_features(path_img):
38     img_rd = io.imread(path_img)
39     img_gray = cv2.cvtColor(img_rd, cv2.COLOR_BGR2RGB)
40     faces = detector(img_gray, 1)
41 
42     print("%-40s %-20s" % ("检测到人脸的图像 / image with faces detected:", path_img), '\n')
43 
44     # 因为有可能截下来的人脸再去检测，检测不出来人脸了
45     # 所以要确保是 检测到人脸的人脸图像 拿去算特征
46     if len(faces) != 0:
47         shape = predictor(img_gray, faces[0])
48         face_descriptor = face_rec.compute_face_descriptor(img_gray, shape)
49     else:
50         face_descriptor = 0
51         print("no face")
52 
53     return face_descriptor
54 
55 
56 # 将文件夹中照片特征提取出来, 写入 CSV
57 def return_features_mean_personX(path_faces_personX):
58     features_list_personX = []
59     photos_list = os.listdir(path_faces_personX)
60     if photos_list:
61         for i in range(len(photos_list)):
62             # 调用return_128d_features()得到128d特征
63             print("%-40s %-20s" % ("正在读的人脸图像 / image to read:", path_faces_personX + "/" + photos_list[i]))
64             features_128d = return_128d_features(path_faces_personX + "/" + photos_list[i])
65             #  print(features_128d)
66             # 遇到没有检测出人脸的图片跳过
67             if features_128d == 0:
68                 i += 1
69             else:
70                 features_list_personX.append(features_128d)
71     else:
72         print("文件夹内图像文件为空 / Warning: No images in " + path_faces_personX + '/', '\n')
73 
74     # 计算 128D 特征的均值
75     # N x 128D -> 1 x 128D
76     if features_list_personX:
77         features_mean_personX = np.array(features_list_personX).mean(axis=0)
78     else:
79         features_mean_personX = '0'
80 
81     return features_mean_personX
82 
83 
84 # 读取某人所有的人脸图像的数据
85 people = os.listdir(path_images_from_camera)
86 people.sort()
87 
88 with open("data/features_all.csv", "w", newline="") as csvfile:
89     writer = csv.writer(csvfile)
90     for person in people:
91         print("##### " + person + " #####")
92         # Get the mean/average features of face/personX, it will be a list with a length of 128D
93         features_mean_personX = return_features_mean_personX(path_images_from_camera + person)
94         writer.writerow(features_mean_personX)
95         print("特征均值 / The mean of features:", list(features_mean_personX))
96         print('\n')
97     print("所有录入人脸数据存入 / Save all the features of faces registered into: data/features_all.csv")

 

 

我们可以看下对于某张图片，face_descriptor 这个 128D vectors 的输出结果：

绿色框内是我们的返回 128D 特征的函数；

在红色框内调用该函数来计算 img_face_13.jpg；

可以看到黄色框中的输出为 128D 的向量；

图 6 返回单张图像的 128D 特征的计算结果

 

之后就需要人脸图像进行批量化操作，提取出 128D 的特征，然后计算特征均值，存入 features_all.csv；

features_all.csv 是一个 n 行 128 列的 CSV， n 是录入的人脸数，128 列是某人的 128D 特征；

这存储的就是 录入的人脸数据，之后 摄像头捕获的人脸 将要拿过来和 这些特征值 进行比对，如果欧式距离比较近的话，就可以认为是同一张人脸；

 

 get_features_into_CSV.py 的输出 log：

##### person_1 #####
data/data_csvs_from_camera/person_1.csv
正在读的人脸图像 / image to read:                data/data_faces_from_camera/person_1/img_face_1.jpg
检测到人脸的图像 / image with faces detected:    data/data_faces_from_camera/person_1/img_face_1.jpg 

正在读的人脸图像 / image to read:                data/data_faces_from_camera/person_1/img_face_2.jpg
检测到人脸的图像 / image with faces detected:    data/data_faces_from_camera/person_1/img_face_2.jpg 

正在读的人脸图像 / image to read:                data/data_faces_from_camera/person_1/img_face_3.jpg
检测到人脸的图像 / image with faces detected:    data/data_faces_from_camera/person_1/img_face_3.jpg 

正在读的人脸图像 / image to read:                data/data_faces_from_camera/person_1/img_face_4.jpg
检测到人脸的图像 / image with faces detected:    data/data_faces_from_camera/person_1/img_face_4.jpg 

##### person_2 #####
data/data_csvs_from_camera/person_2.csv
正在读的人脸图像 / image to read:                data/data_faces_from_camera/person_2/img_face_1.jpg
检测到人脸的图像 / image with faces detected:    data/data_faces_from_camera/person_2/img_face_1.jpg 

正在读的人脸图像 / image to read:                data/data_faces_from_camera/person_2/img_face_2.jpg
检测到人脸的图像 / image with faces detected:    data/data_faces_from_camera/person_2/img_face_2.jpg 

##### person_3 #####
data/data_csvs_from_camera/person_3.csv
正在读的人脸图像 / image to read:                data/data_faces_from_camera/person_3/img_face_1.jpg
检测到人脸的图像 / image with faces detected:    data/data_faces_from_camera/person_3/img_face_1.jpg 

正在读的人脸图像 / image to read:                data/data_faces_from_camera/person_3/img_face_2.jpg
检测到人脸的图像 / image with faces detected:    data/data_faces_from_camera/person_3/img_face_2.jpg 


...

 

 

2.3 face_reco_from_camera.py / 实时人脸识别对比分析

这部分源码实现的功能：调用摄像头，捕获摄像头中的人脸，然后如果检测到人脸，将 摄像头中的人脸提取出 128D 的特征，然后和 之前录入人脸的 128D 特征 进行计算欧式距离，如果比较小，可以判定为一个人，否则不是一个人；

伪代码如下：

# 人脸检测器/预测器/识别模型
detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor('data/data_dlib/shape_predictor_68_face_landmarks.dat')
facerec = dlib.face_recognition_model_v1("data/data_dlib/dlib_face_recognition_resnet_model_v1.dat")

faces = detector(img_gray, 0)

# 如果检测到人脸
if len(faces) != 0:
    # 遍历所有检测到的人脸
    for i in range(len(faces)):
        # 进行人脸比对
        shape = predictor(img_rd, faces[i])
        facerec.compute_face_descriptor(img_rd, shape)

 

 关于用到的 dlib 检测器，预测器，识别器:

1. dlib.get_frontal_face_detector

Link:

http://dlib.net/python/index.html#dlib.get_frontal_face_detector

简介 / intro:

返回默认的人脸检测器，为下面的 fhog_object_detectorm / Returns the default face detector

 

2. class dlib.fhog_object_detector

Link:

http://dlib.net/python/index.html#dlib.fhog_object_detector

简介 / intro:

基于滑动窗的HOG进行目标检测;

This object represents a sliding window histogram-of-oriented-gradients based object detector.

参数 / parameters:

__call__(self: dlib.fhog_object_detector, image: array, upsample_num_times: int=0L) → dlib.rectangles

 

3. class dlib.shape_predictor

Link:

http://dlib.net/python/index.html#dlib.shape_predictor

简介 / intro:

人脸图像作为输入, 输出面部特征点;

This object is a tool that takes in an image region containing some object and outputs a set of point locations that define the pose of the object. 

The classic example of this is human face pose prediction, where you take an image of a human face as input and are expected to identify

the locations of important facial landmarks such as the corners of the mouth and eyes, tip of the nose, and so forth.

参数 / parameters:

__call__(self: dlib.shape_predictor, image: array, box: dlib.rectangle) → dlib.full_object_detection

输入: dlib.rectangle 输出: dlib.full_object_detection

 

4. class dlib.face_recognition_model_v1

Link:

http://dlib.net/python/index.html#dlib.face_recognition_model_v1

简介 / intro:

将人脸转换为128D特征向量, 这样的话相似人脸会比较相近, 不相像的会比较远;

This object maps human faces into 128D vectors where pictures of the same person are mapped near to each other and pictures of different people are mapped far apart.

The constructor loads the face recognition model from a file. The model file is available here: http://dlib.net/files/dlib_face_recognition_resnet_model_v1.dat.bz2

参数 / parameters:

compute_face_descriptor(self: dlib.face_recognition_model_v1, img: numpy.ndarray[(rows,cols,3),uint8], face: dlib.full_object_detection, num_jitters: int=0L, padding: float=0.25) -> dlib.vector

 

通过 print(type()) 可以更清楚的看到 dlib 对象的传递:

# 人脸检测器/预测器/识别模型
detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor('data/data_dlib/shape_predictor_68_face_landmarks.dat')
facerec = dlib.face_recognition_model_v1("data/data_dlib/dlib_face_recognition_resnet_model_v1.dat")

faces = detector(img_gray, 0)

# 如果检测到人脸
if len(faces) != 0:
    print(type(faces)                                                # 
    # 遍历所有检测到的人脸
    for i in range(len(faces)):
        # 进行人脸比对
        shape = predictor(img_rd, faces[i])
        print(type(shape))                                            # 
        facerec.compute_face_descriptor(img_rd, shape)
        print(type(facerec.compute_face_descriptor(img_rd, shape))    # 

 

这样一个对象传递过程：

faces = detector(img_gray, 0) -> <class 'dlib.dlib.rectangles'> -> 
shape = predictor(img_rd, faces[i]) -> <class 'dlib.dlib.full_object_detection'> -> 
facerec.compute_face_descriptor(img_rd, shape) -> <class 'dlib.dlib.vector'>

 

欧氏距离对比的阈值设定，是在 return_euclidean_distance 函数的 dist  变量；

我这里程序里面指定的 欧氏距离判断阈值是 0.4，具体阈值可以根据实际情况或者测得结果进行修改；

　　

这边做了一个，让人名跟随显示在头像下方，如果想要在人脸矩形框下方显示人名，首先需要知道 Dlib 生成的矩形框的尺寸怎么读取；

Dlib 返回的 dets 变量是一系列人脸的数据，此处对单张人脸处理，所以取 dets[0] 的参数；

可以通过 dets[0].top(), dets[0].bottom(), dets[0].left() 和 dets[0].right() 来确定要显示的人名的坐标；

图 7 dets[0].top() 等参数说明 

　　

得到矩形框的坐标，就可以获取人名的相对位置；

这是我这边取的坐标：

 pos_text_1 = tuple([dets[0].left(), int(dets[0].bottom()+(dets[0].bottom()-dets[0].top())/4)])

 

　　

图 8 face_reco_from_camera.py 生成的人脸识别窗口界面

   如果想定制输出显示的名字而不是“Person_1”,"Person_2"...；

 

图 9 定制显示名字

 

face_reco_from_camera.py 源码：

 

  1 # 摄像头实时人脸识别
  2 # Real-time face recognition
  3 
  4 # Author:   coneypo
  5 # Blog:     http://www.cnblogs.com/AdaminXie
  6 # GitHub:   https://github.com/coneypo/Dlib_face_recognition_from_camera
  7 
  8 # Created at 2018-05-11
  9 # Updated at 2019-03-23
 10 
 11 import dlib          # 人脸处理的库 Dlib
 12 import numpy as np   # 数据处理的库 numpy
 13 import cv2           # 图像处理的库 OpenCv
 14 import pandas as pd  # 数据处理的库 Pandas
 15 
 16 # 人脸识别模型，提取128D的特征矢量
 17 # face recognition model, the object maps human faces into 128D vectors
 18 # Refer this tutorial: http://dlib.net/python/index.html#dlib.face_recognition_model_v1
 19 facerec = dlib.face_recognition_model_v1("data/data_dlib/dlib_face_recognition_resnet_model_v1.dat")
 20 
 21 
 22 # 计算两个128D向量间的欧式距离
 23 # compute the e-distance between two 128D features
 24 def return_euclidean_distance(feature_1, feature_2):
 25     feature_1 = np.array(feature_1)
 26     feature_2 = np.array(feature_2)
 27     dist = np.sqrt(np.sum(np.square(feature_1 - feature_2)))
 28     return dist
 29 
 30 
 31 # 处理存放所有人脸特征的 csv
 32 path_features_known_csv = "data/features_all.csv"
 33 csv_rd = pd.read_csv(path_features_known_csv, header=None)
 34 
 35 # 用来存放所有录入人脸特征的数组
 36 # the array to save the features of faces in the database
 37 features_known_arr = []
 38 
 39 # 读取已知人脸数据
 40 # print known faces
 41 for i in range(csv_rd.shape[0]):
 42     features_someone_arr = []
 43     for j in range(0, len(csv_rd.ix[i, :])):
 44         features_someone_arr.append(csv_rd.ix[i, :][j])
 45     features_known_arr.append(features_someone_arr)
 46 print("Faces in Database：", len(features_known_arr))
 47 
 48 # Dlib 检测器和预测器
 49 # The detector and predictor will be used
 50 detector = dlib.get_frontal_face_detector()
 51 predictor = dlib.shape_predictor('data/data_dlib/shape_predictor_68_face_landmarks.dat')
 52 
 53 # 创建 cv2 摄像头对象
 54 # cv2.VideoCapture(0) to use the default camera of PC,
 55 # and you can use local video name by use cv2.VideoCapture(filename)
 56 cap = cv2.VideoCapture(0)
 57 
 58 # cap.set(propId, value)
 59 # 设置视频参数，propId 设置的视频参数，value 设置的参数值
 60 cap.set(3, 480)
 61 
 62 # cap.isOpened() 返回 true/false 检查初始化是否成功
 63 # when the camera is open
 64 while cap.isOpened():
 65 
 66     flag, img_rd = cap.read()
 67     kk = cv2.waitKey(1)
 68 
 69     # 取灰度
 70     img_gray = cv2.cvtColor(img_rd, cv2.COLOR_RGB2GRAY)
 71 
 72     # 人脸数 faces
 73     faces = detector(img_gray, 0)
 74 
 75     # 待会要写的字体 font to write later
 76     font = cv2.FONT_HERSHEY_COMPLEX
 77 
 78     # 存储当前摄像头中捕获到的所有人脸的坐标/名字
 79     # the list to save the positions and names of current faces captured
 80     pos_namelist = []
 81     name_namelist = []
 82 
 83     # 按下 q 键退出
 84     # press 'q' to exit
 85     if kk == ord('q'):
 86         break
 87     else:
 88         # 检测到人脸 when face detected
 89         if len(faces) != 0:
 90             # 获取当前捕获到的图像的所有人脸的特征，存储到 features_cap_arr
 91             # get the features captured and save into features_cap_arr
 92             features_cap_arr = []
 93             for i in range(len(faces)):
 94                 shape = predictor(img_rd, faces[i])
 95                 features_cap_arr.append(facerec.compute_face_descriptor(img_rd, shape))
 96 
 97             # 遍历捕获到的图像中所有的人脸
 98             # traversal all the faces in the database
 99             for k in range(len(faces)):
100                 print("##### camera person", k+1, "#####")
101                 # 让人名跟随在矩形框的下方
102                 # 确定人名的位置坐标
103                 # 先默认所有人不认识，是 unknown
104                 # set the default names of faces with "unknown"
105                 name_namelist.append("unknown")
106 
107                 # 每个捕获人脸的名字坐标 the positions of faces captured
108                 pos_namelist.append(tuple([faces[k].left(), int(faces[k].bottom() + (faces[k].bottom() - faces[k].top())/4)]))
109 
110                 # 对于某张人脸，遍历所有存储的人脸特征
111                 # for every faces detected, compare the faces in the database
112                 e_distance_list = []
113                 for i in range(len(features_known_arr)):
114                     # 如果 person_X 数据不为空
115                     if str(features_known_arr[i][0]) != '0.0':
116                         print("with person", str(i + 1), "the e distance: ", end='')
117                         e_distance_tmp = return_euclidean_distance(features_cap_arr[k], features_known_arr[i])
118                         print(e_distance_tmp)
119                         e_distance_list.append(e_distance_tmp)
120                     else:
121                         # 空数据 person_X
122                         e_distance_list.append(999999999)
123                 # Find the one with minimum e distance
124                 similar_person_num = e_distance_list.index(min(e_distance_list))
125                 # print(e_distance_list)
126                 # print(similar_person_num)
127                 print("Minimum e distance with person", int(similar_person_num)+1)
128                 if min(e_distance_list) < 0.4:
129                     # 在这里修改 person_1, person_2 ... 的名字
130                     # 可以在这里改称 Jack, Tom and others
131                     # Here you can modify the names shown on the camera
132                     name_namelist[k] = "Person "+str(int(similar_person_num)+1)
133                     print("May be person "+str(int(similar_person_num)+1))
134                 else:
135                     print("Unknown person")
136 
137                 # 矩形框
138                 # draw rectangle
139                 for kk, d in enumerate(faces):
140                     # 绘制矩形框
141                     cv2.rectangle(img_rd, tuple([d.left(), d.top()]), tuple([d.right(), d.bottom()]), (0, 255, 255), 2)
142                 print('\n')
143 
144             # 在人脸框下面写人脸名字
145             # write names under rectangle
146             for i in range(len(faces)):
147                 cv2.putText(img_rd, name_namelist[i], pos_namelist[i], font, 0.8, (0, 255, 255), 1, cv2.LINE_AA)
148 
149     print("Faces in camera now:", name_namelist, "\n")
150 
151     cv2.putText(img_rd, "Press 'q': Quit", (20, 450), font, 0.8, (84, 255, 159), 1, cv2.LINE_AA)
152     cv2.putText(img_rd, "Face Recognition", (20, 40), font, 1, (0, 0, 0), 1, cv2.LINE_AA)
153     cv2.putText(img_rd, "Faces: " + str(len(faces)), (20, 100), font, 1, (0, 0, 255), 1, cv2.LINE_AA)
154 
155     # 窗口显示 show with opencv
156     cv2.imshow("camera", img_rd)
157 
158 # 释放摄像头 release camera
159 cap.release()
160 
161 # 删除建立的窗口 delete all the windows
162 cv2.destroyAllWindows()

 

 

 

 

face_reco_from_camera.py 输出 log：

 

##### camera person 1 #####
with person 1 the e distance: 0.21153867687451736
with person 2 the e distance: 0.20646924127167549
with person 4 the e distance: 0.19824469336759548
Minimum e distance with person 4
May be person 4


##### camera person 2 #####
with person 1 the e distance: 0.7403020289640347
with person 2 the e distance: 0.7375521667680703
with person 4 the e distance: 0.7077921161820342
Minimum e distance with person 4
Unknown person


##### camera person 3 #####
with person 1 the e distance: 0.6975665799095466
with person 2 the e distance: 0.7070867672498581
with person 4 the e distance: 0.6727276688350984
Minimum e distance with person 4
Unknown person


Faces in camera now: ['Person 4', 'unknown', 'unknown'] 

 

 

 

 

如果对单个人脸，进行实时对比输出：

图 10 实时输出的欧氏距离结果

 

　　通过实时的输出结果，看的比较明显；

　　输出绿色部分：当是我自己时，计算出来的欧式距离基本都在 0.2 左右；

　　输出红色部分：而换一张图片上去比如特朗普，明显看到欧式距离计算结果 达到了 0.8，此时就可以判定，后来这张人脸不是一张人脸；

　　所以之前提到的欧式距离计算对比的阈值可以由此设定，本项目中取的是 dist=0.4；

　　 dist 的确切取值自己权衡，http://dlib.net/face_recognition.py.html 的说明：

 

#   When using a distance threshold of 0.6, the dlib model obtains an accuracy
#   of 99.38% on the standard LFW face recognition benchmark, which is
#   comparable to other state-of-the-art methods for face recognition as of
#   February 2017. This accuracy means that, when presented with a pair of face
#   images, the tool will correctly identify if the pair belongs to the same
# person or is from different people 99.38% of the time.

3. 总结

核心就是 提取人脸特征，然后计算欧式距离和预设的特征脸进行比对；

不过这个实时获取摄像头人脸进行比对，要实时的进行计算摄像头脸的特征值，然后还要计算欧氏距离，所以计算量比较大，可能摄像头视频流会出现卡顿；

此项目仅个人学习爱好研究，开源供大家一起学习；

 

# 请尊重他人劳动成果，转载或者使用源码请注明出处：http://www.cnblogs.com/AdaminXie

# 代码已上传到了我的 GitHub，如果对您有帮助欢迎 Star 支持我下：https://github.com/coneypo/Dlib_face_recognition_from_camera

# 如有问题请留言或者联系邮箱: [email protected]

# Last update: 6 Apr