人脸矫正有几个问题。
1.歪头：
2.侧脸：
3.半边脸：缺失另外半边脸，要寻找其他的解决方案。
大多数情况下，截取到的人脸是包含歪头和侧脸的现象的。这两个问题，可以同时通过仿射变换来矫正。
但是要注意，侧脸，是缺少一部分脸部信息的。
人脸矫正，对歪头的正确度提高有帮助，对侧脸就一般了。
思路：
1.之前步骤已经在每张人脸上找到5个特征；
2.测量 正面脸 的五点对应坐标 pts_dst（这是测量出来的，重要的是5点的位置相对关系）；
3.每张脸的5个点坐标 pts_src，其中的鼻子坐标要设置成和2中鼻子坐标相同，其他坐标点按比例换算；
4.这两组左边，估计矫正的单应性矩阵（就是仿射变换矩阵，歪脸 to 正脸的变换矩阵）；
5.然后对人脸做仿射变换，得到矫正后的图。
代码：
import tensorflow as tf
import numpy as np
import cv2
import detect_face
import matplotlib.pyplot as plt
import math
from scipy import misc
img = misc.imread('001.jpg')
sess = tf.Session()
pnet, rnet, onet = detect_face.create_mtcnn(sess, None)
# pnet, rnet, onet are 3 funtions
minsize = 20
threshold = [0.6, 0.7, 0.7]
factor = 0.709
df_result, df_points_result = detect_face.detect_face(img, minsize, pnet, rnet, onet, threshold, factor)
# df_points_result is faceNumber X 10
# need transpose to 10 X faceNumber
df_points_result = np.transpose(df_points_result)
vec_vec_points = []
for subPoints in df_points_result:
# subPoints: [x1,x2,x3,x4,x5,y1,y2,y3,y4,y5]
# image axis, so convert nose to (48,48)
# Points of small faces are too close to compute correct Homography Matrix.
# So, scale points.
deltaX = 48-subPoints[2]
deltaY = 48-subPoints[7]
vec_vec_points.append([[subPoints[0]+deltaX, subPoints[5]+deltaY],
[subPoints[1]+deltaX, subPoints[6]+deltaY],
[subPoints[2]+deltaX, subPoints[7]+deltaY],
[subPoints[3]+deltaX, subPoints[8]+deltaY],
[subPoints[4]+deltaX, subPoints[9]+deltaY]])
n_face = df_result.shape[0]
print('detected face number: {}'.format(n_face))
print(df_result)
plt.figure('faces')
i = 0
plt_nrow = n_face / 5
plt_nrow = plt_nrow + int(n_face != plt_nrow * 5)
plt_ncol = 5
crop_face = []
crop_face_adjust = []
size_img = (96,96)
pts_dst = np.array([[29.0,24.0],[67.0,24.0],[48.0,48.0],[28.0,62.0],[68.0,62.0]]) # measure
for subfaceRec in df_result:
i = i + 1
subfaceRec = subfaceRec.astype(int)
img_a_face = img[subfaceRec[1]:subfaceRec[3], subfaceRec[0]:subfaceRec[2]]
crop_face.append(img_a_face)
# adjust image
pts_src = np.array(vec_vec_points[i-1])
H, _ = cv2.findHomography(pts_src, pts_dst)
img_a_face_adjust = cv2.warpPerspective(img_a_face, H, (img_a_face.shape[1]+30, img_a_face.shape[0]+30))
crop_face_adjust.append(img_a_face_adjust)
# resize image
img_a_face = cv2.resize(img_a_face, size_img, interpolation=cv2.INTER_CUBIC)
# display and show
print('plt_nrow:{}, plt_ncol:{}, i:{}'.format(plt_nrow, plt_ncol, i))
plt.subplot(plt_nrow, plt_ncol, i)
plt.imshow(img_a_face)
cv2.rectangle(img, (subfaceRec[0], subfaceRec[1]), (subfaceRec[2], subfaceRec[3]), (0, 255, 0), 2)
# show face adjust
i = 0
plt.figure('faces_adjust')
for sub_img_ad in crop_face_adjust:
timg = cv2.resize(sub_img_ad, size_img, interpolation=cv2.INTER_CUBIC)
i = i+1
plt.subplot(plt_nrow, plt_ncol, i)
plt.imshow(timg)
# draw points
plt.figure('img')
for subPoints in df_points_result:
# subPoints: [x1,x2,x3,x4,x5,y1,y2,y3,y4,y5]
cv2.circle(img, (subPoints[0], subPoints[5]), 2, (255, 0, 0), -1) # Red left eye
cv2.circle(img, (subPoints[1], subPoints[6]), 2, (0, 0, 255), -1) # Blue right eye
cv2.circle(img, (subPoints[2], subPoints[7]), 2, (0, 255, 0), -1) # Green nose
cv2.circle(img, (subPoints[3], subPoints[8]), 2, (255, 255, 0), -1) # yellow left mouse
cv2.circle(img, (subPoints[4], subPoints[9]), 2, (0, 255, 255), -1) # cyan right mouse
plt.imshow(img)
plt.show()
sess.close()
结果：
问题：
效果不是很理想，或许只使用旋转矩阵，效果更好吧。
毕竟侧脸情况，要考虑其他更有效的算法。
值得一提的是，FaceNet对于输入的人脸，没有矫正的要求。