python-opencv-人脸对齐和反对齐

背景描述

我需要将视频中的图像拆帧后对齐到标准人脸上，进行一些算法加工后在反对齐回原始视频里。对齐人脸主要依赖于仿射变换，即根据lmks中的5个关键点（眼睛眉毛）找出仿射变换矩阵，再将原img中的所有像素点变换到标准人脸上，反对齐其实就是把对齐后人脸变换到原img的位置，再做一次仿射变换就可以了。另外以防我以后忘记，记录下变换像素的计算公式：设仿射矩阵为M
x = M[0,0]*pixel[0] + M[0,1]*pixel[1] + M[0,2]
y = M[1,0]*pixel[0] + M[1,1]*pixel[1] + M[1,2]

人脸对齐

首先你需要先把人脸的lmk提取出来（提取方法可以参考dlib）

#计算仿射矩阵
def align(src_points, dst_points):
    # align dst to src
    src_points = np.matrix(src_points.astype(np.float64))
    dst_points = np.matrix(dst_points.astype(np.float64))

    c1 = np.mean(src_points, axis=0)
    c2 = np.mean(dst_points, axis=0)
    #print c1, c2
    src_points -= c1
    dst_points -= c2

    s1 = np.std(src_points)
    s2 = np.std(dst_points)

    src_points /= s1
    dst_points /= s2

    u, s, vt = np.linalg.svd(src_points.T * dst_points)
    r = (u * vt).T

    m = np.vstack([np.hstack(((s2 / s1) * r, c2.T - (s2 / s1) * r * c1.T)), np.matrix([0., 0., 1.])])

    return m

def align_imgs(data_path, lmk_path, out_path, dst_lmks, dst_img):
    file_name = os.path.basename(data_path)
    if not os.path.exists(lmk_path):
        return
    data = os.listdir(data_path)
    
    try:
        os.mkdir(out_path)
    except:
        pass
    count = 0
    for i in data:
        if not (i.endswith('.jpg') or i.endswith('.png')):
            continue
        name = i.split('.')[0]
        if os.path.exists(out_path+i):
            continue
        try:
            src_lmks = np.load(lmk_path+'/saved_spot'+name+'.lmks.npy')
        except:
            print(i)
            continue

        img = cv2.imread(os.path.join(data_path,i))
        
        #仿射矩阵
        M = align(src_lmks, dst_lmks)
        
        #对齐所有像素点
        aligned_img = cv2.warpAffine(img, M[:2], (dst_img.shape[0], dst_img.shape[1]), flags=cv2.INTER_LINEAR,)
		#存储对齐后图像
        cv2.imwrite(os.path.join(out_path+i), aligned_img) 
        

注意

对齐标准人脸里dst_lmk和dst_img是标准人脸的所以应该是一样的，反对齐时候对应的就是每帧的lmk和img。

shell里批量注释的方法：
:'
xxxx
’