Openface学习(一):使用dlib探测人脸并与模板人脸对齐

学习了开源人脸识别程序Openface的代码。Openface的思路是先将人脸从图像中提取出来,再通过FaceNet,即使用了triplet loss的神经网络将图像分类或者识别。

本篇文章的代码的作用是,使用dlib库将人脸探测、提取的方法集合成类,方便调用。

本篇文章的代码的思路是,在通用模板中的68个人脸标记点的基础上,使用dlib库以及预训练出的参数,确定输入图像的人脸标记点,再使用opencv的内置函数进行仿射变换,得到输出对齐的图像,以便下一步训练时使用。

# 使用dlib进行人脸切割,变换

import cv2
import dlib
import numpy as np

# 这是人脸的特征点,一共68个
TEMPLATE = np.float32([( , )... # 这里填数据 ])

# 下面将人脸的关键点标准化,即寻找人脸在最左侧的点和最上侧的点,作为图像的边缘,
# 其他点以这两个边缘为基准平移;最后除以(最右侧-最左侧)和(最下侧-最上侧)
# 使人脸的标准点均匀地分布在图形里,恰好不丢失特征,也无多余像素。
(TEM_MIN, TEM_MAX) = (np.min(TEMPLATE, axis = 0), np.max(TEMPLATE, axis = 0))
STANDARD_TEMPLATE = (TEMPLATE - TEM_MIN) / (TEM_MAX - TEM_MIN)

class AlignDlib():
    INNER_EYES_AND_BOTTOM_LIP = [39, 42, 57] # 用于仿射变换的模板标记点(STANDARD_TEMPLATE)的索引
    OUTER_EYES_AND_NOSE = [36, 45, 33]

    def __init__(self, FacePredictor):
        assert FacePredictor is not None

        self.detector = dlib.get_frontal_face_detector() # 默dlib认的脸探测对象
        self.predictor = dlib.shape_predictor(FacePredictor) # 根据FacePredictor参数构建预测人脸对象

    def getAFBB(self, RgbImg):
        # get all face bounding boxes
        assert RgbImg is not None

        try:
            return self.detector(RgbImg, 1) # 探测图像中的人脸一次
        except Exception as e:
            print("Warning: {}".format(e))
            return []

    def getLFBB(self, RgbImg, SkipMulti = False):
        # get largest face bounding box
        # SkipMulti的意思是跳过多个人脸
        # 这里有一个疑问:既然对齐脸只用了一次这个函数,而且是内部调用的,
        # 跳不跳过多个脸,有什么用呢?
        assert RgbImg is not None

        faces = self.getAFBB(RgbImg) # 探测图像中所有的脸
        if  (not SkipMulti and len(faces) > 0) or len(faces) == 1:
            return max(faces, key = lambda rect: rect.width() * rect.height())
        else:
            return None

    def findL(self, RgbImg, bb): #寻找实际图像中人脸的标记点
        assert RgbImg is not None
        assert bb is not None

        points = self.predictor(RgbImg, bb)
        return list(map(lambda p: (p.x, p.y), points.parts()))

    def align(self, ImgDim, RgbImg, bb = None,
              landmarks = None, landmark_indices = 
              INNER_EYES_AND_BOTTOM_LIP,
              SkipMulti = False):

        assert RgbImg is not None
        assert landmark_indices is not None

        if ImgDim is None:
            ImgDim = 96

        if bb is None:
            # bb是已经裁剪过的人脸,是一个矩形
            bb = self.getLFBB(RgbImg, SkipMulti)
            if bb is None:
                return

        if landmarks is None:
            landmarks = self.findL(RgbImg, bb)

        np_landmarks = np.float32(landmarks) # 转成numpy的类型
        np_landmark_indices = np.array(landmark_indices)

        H = cv2.getAffineTransform(np_landmarks[
                                   np_landmark_indices], ImgDim * 
                                   STANDARD_TEMPLATE[
                                   np_landmark_indices]) # 这是opencv自带的获得仿射变换矩阵的函数
        thumb_nail = cv2.warpAffine(RgbImg, H, (ImgDim, ImgDim)) # 这是执行仿射变换,最后图像和模板标记点对齐

        return thumb_nail # 得到对齐的图像

你可能感兴趣的:(人脸识别)