End-to-end 3D face reconstruction with deep neural networks

提出了 End-to-End 3D FAce Reconstruction (UH-E2FAR)模型,利用DNN来从单张2D图像中拟合出3DMM的形状参数
本文将人脸形状分为两个子任务:身份和表情,然后通过优化两个loss联合训练。
为了表示目标人脸S,先假设我们有平均脸S_bar,然后对所有人的中性脸做pca,就可以得到身份的主成分特征。之后再通过每个人不同扫描之间的偏移量做PCA得到表情的主成分特征。将这两个加到S_bar上就可以表示S了
BFM:53490个顶点,160470个三角形面,有利于表达面部细节
AFM:7597个顶点,14912个三角形面,有利于姿态归一化


architecture

模型是基于VGG-face的,第4,5个pooling层用于学习表情特征,第5个pooling层用于学习身份特征
使用了RMSE做metric

你可能感兴趣的:(End-to-end 3D face reconstruction with deep neural networks)