CVPR2023新作：基于面部对称性先验的三维生成对抗网络反演方法

1. Title: 3D GAN Inversion With Facial Symmetry Prior (带面部对称性先验的3D GAN反演)

2. Affiliation: 清华大学

3. Authors: Fei Yin, Yong Zhang, Xuan Wang, Tengfei Wang, Xiaoyu Li, Yuan Gong, Yanbo Fan, Xiaodong Cun, Ying Shan, Cengiz ÈOztireli, Yujiu Yang

4. Keywords: 3D GAN, facial symmetry prior, generator network, neural rendering, image reconstruction, image editing

5. Summary:

• (1): 本文的研究背景是最近出现了许多高质量的3D-aware GANs，利用了神经渲染的生成力量。本文的任务是将一个真实图像投影到生成器的潜在空间中，以实现自由视角的一致合成和编辑，即3D GAN inversion。虽然预训练的3D GANs中保留了面部先验知识，但使用单目图像重建3D肖像仍是一个不适定问题。

• (2): 已有的2D GAN反演方法仅关注纹理相似性，而忽略3D几何形状的正确性，这可能会导致几何坍塌效应，特别是在极端姿势下重建侧面。此外，在新视角下的合成结果容易模糊不清。本文提出的一个全新方法是引入面部对称性先验以促进3D GAN inversion。该方法利用镜像图像获取的伪辅助视图，设计了管道和约束，有助于获得一致的视图和良好结构的几何形状。为了提高未观察到的视角的纹理保真度，可以从深度引导的3D变形中获得伪标签，本文还设计了用于过滤不对称情况下优化的冲突区域的约束。本文提出的方法在图像重建和编辑方面经过全面的定量和定性评估，结果表明其优越性。

• (3): 本文提出了一种基于面部对称性先验的3D GAN反演方法，设计了一种包括管道和约束的优化框架。

• (4): 本文提出的方法在3D人脸重建方面取得了良好的性能，可以获得一致的视角和良好结构的几何形状，并在未观察到的视角中实现了高保真度的纹理。本文提出的方法通过全面定量和定性评估的综合结果证明了它的优越性。

6. Methods:

• (1): 本文的方法是将一个真实图像投影到生成器的潜在空间中，以实现自由视角的一致合成和编辑，主要分为两个阶段。第一阶段，引入面部对称性先验，使用镜像图像获取的伪辅助视图，设计了一个优化框架，获得粗略的几何形状。第二阶段，通过优化几何形状和纹理参数，实现更精细的几何形状和纹理渲染。

• (2): 在第一阶段，我们引入面部对称性先验，将原始图像和镜像图像作为视角，设计了优化框架。优化的目标是获得重建的粗略几何形状，我们采用了 Perceptual loss 和噪音正则化约束。镜像图像的权重使用高斯函数进行自适应加权，以避免不对称情况下的优化冲突。在第二阶段，我们通过优化生成器参数和设计包括几何形状正则化和深度引导三维形变等一系列约束，获得更为精细的几何形状和纹理参数。

• (3): 在面部对称性先验中，我们使用镜像图像获取伪辅助视图。然而，在实际应用过程中，伪辅助视图中可能存在冲突内容，为了避免这种情况，我们采用特定的加权策略，通过计算不同视角的高斯函数来适应权重的变化。同时，在优化过程中，我们使用人类的面部形态知识，设计了几何形状正则化约束以避免模型退化。

• (4): 我们采用评估标准来评价我们提出的方法在三维重建和图像编辑方面的优越性，包括两个定量指标和一个定性分析。其中，定量指标是远程视角的重建效果和相似度，定性分析是对三维模型的视觉评估。实验结果表明，本文方法在三维重建和图像编辑方面具有优越性。

7. Conclusion:

• (1): 本文提出了一种基于面部对称性先验的三维生成对抗网络反演方法，旨在解决3D GAN inversion中的不适定问题。本文的创新之处在于引入了面部对称性先验，以促进几何形状和纹理渲染的一致性，从而实现高保真度的三维重建和图像编辑。此外，本文中提出了一系列管道和约束来提高优化效果，如高斯函数自适应权重、深度引导三维形变等。

• (2): 创新点：本文提出了一种基于面部对称性先验的3D GAN反演方法，有效解决了3D GAN inversion中的不适定问题。