虚拟现实技术-给人脸加眼镜

近期做了一个项目，在检测到的人脸图像上加眼镜。初步完成了一些成果，但是还有很多不足，请大家多提建议。

虚拟现实技术-给人脸加眼镜

主要技术路线：

一、人脸检测，人脸检测部分采用的是opencv自带的人脸检测器，由于速度的限制，本文采用的是检测一张人脸，而非多张人脸。

二、人眼定位。如下图所示：

 

在定位人脸特征点后，其中每个点的坐标都可以确定，选取人眼所在的区域：如上图红色方框所示。在红色方框内，将像素值最低的20%的像素置为255，其他置为0，即将人眼区域二值化：

 

采用类Harr特征描述算子遍历二值化图像，即白色部分减去黑色部分的，在人眼球部位会出现极值。

 

三、在人眼区域加眼镜。确定人眼眼球位置后，计算两眼之间的距离L1，手工标定眼镜对于两眼的位置，即：

 

眼镜缩放的比例为：scale=L1/L2;将眼镜图像的长宽各乘以scale，给到适合脸型的眼镜大小。

四、如若实现加眼镜，还需要三个图像，即原图和两张掩膜图像：

（1）

（2）

采用opencv里的copyTo函数。采用掩膜2，得到除眼镜片区域以外的背景图，并将其保存为Temp：

 

把原图眼镜的图像加在人脸图像上，主要采用addWeighted函数，并对每张图附上不同的权重。

C++: void addWeighted(InputArray src1, double alpha, InputArray src2, double beta, double gamma, OutputArray dst, int dtype=-1)

其中调整addWeighted中 alpha，beta的值可以改变透明度。如下图所示：

 

从上图可以看出，加上眼镜后，眼镜周围有白色的部分，将保存的Temp背景图，copy到原图中就可以抵消掉白色。最终加眼镜后的人脸图像为：

 

 

 还需要解决的问题：一、如何根据人脸的旋转角度来添加眼镜

二、如何加上眼镜架