ECCV2020# MGCNet#3D人脸重建表现SOTA！通过多视图几何一致性进行单目3D人脸重建

#ECCV2020# MGCNet：通过多视图几何一致性进行单目3D人脸重建

本文针对多视图一致性设计了三个新颖的损失函数，包括像素一致性损失，深度一致性损失和基于人脸关键点的对极损失，在人脸对齐和3D人脸重建方向表现SOTA！性能优于PRN、CMD等网络。

作者单位：香港科技大学&珠峰创新科技

       最近的基于学习的方法（其中通过单视图图像训练模型）已显示出用于单目3D人脸重建的有希望的结果，但是它们遭受ill-posed的人脸姿势和深度模糊性问题的困扰。与之前仅实施2D特征约束的工作相比，我们提出了一种利用多视图几何一致性的自监督训练体系结构，该体系结构提供了对人脸姿势和深度估计的可靠约束。我们首先提出一种遮挡感知视图合成方法，以将多视图几何一致性应用于自监督学习。然后，我们针对多视图一致性设计了三个新颖的损失函数，包括像素一致性损失，深度一致性损失和基于人脸关键点的对极损失。我们的方法准确而稳健，尤其是在表情，姿势和照明条件变化较大的情况下。在人脸对齐和3D人脸重建基准方面的综合实验证明了其优于最新方法的优越性。

《Self-Supervised Monocular 3D Face Reconstruction by Occlusion-Aware Multi-view Geometry Consistency》

 

代码：https://github.com/jiaxiangshang/MGCNet

论文下载：https://arxiv.org/abs/2007.12494