3DFaceGAN: Adversarial Nets for 3D Face Representation, Generation, and Translation论文泛读

3DFaceGAN: Adversarial Nets for 3D Face Representation, Generation, and Translation论文泛读

（MLA引用格式
Moschoglou, Stylianos, et al. “3dfacegan: Adversarial nets for 3d face representation, generation, and translation.” arXiv preprint arXiv:1905.00307 1.2 (2019).）

本文是利用GAN网络处理关于三维人脸重建，三维人脸翻译，三维人脸，多标签三维人脸翻译的任务。
（对于人脸翻译，没有搞懂这个是什么，按文中的意思应该是根据低分辨率的点云生成高分辨率的点云，应该是类似于图像翻译的内容吧。图像作为一种交流媒介，有很多种表达方式，比如灰度图、彩色图、梯度图甚至人的各种标记等。在这些图像之间的转换称之为图像翻译，是一个图像生成任务。）
作者称本文是第一个使用GAN方法解决此类问题的。
针对三维网格数据以往的方法有：

• 几何深度学习方法
  自编码器结构

• 将三维点的坐标连接到一维向量中，并利用完全连接的层来正确解码点云的结构
  丢失了三角剖分和空间相邻信息，参数量大，难以训练。

• 利用PCA学习已有模型的参数
  公式限制了三维表示的几何细节，并限制在其潜在的模型空间

• 体素回归网络
  由于离散化，预测的三维形状质量不高，对应的非表面点难以处理

因为三维没有成熟的深度学习方法，所以本文还是选择利用二维的方法解决，那么面临的一个问题就是选择何种的输入，本文选择将三维顶点信息（x,y,z)存储到uv空间，这样就得到了二维的输入——uv图，但uv图中存储的是三维网格信息。

预处理过程：
网格数据：

顶点映射到uv图：

插值得到密集uv图：

本文的亮点：

1. 用uv图表示3D网格数据，作为GAN的输入
2. GAN的生成器和辨别器采用同样的自编码器结构
3. 所使用的自编码器是经过预训练的
   
4. 训练过程中生成器和辨别器的decoder参数不更新
   
   文章里通过一系列的实验证明了每个设计的有效性。