使用图卷积网络从野外图像实现高保真3D人脸重建

英文论文:Towards High-Fidelity 3D Face Reconstruction from In-the-Wild Images Using Graph Convolutional Networks
论文链接:https://arxiv.org/abs/2003.05653
摘要:
基于三维变形模型(3DMM)的人脸复原方法已取得了很大的成功。然而,这些方法恢复的人脸纹理的保真度低于输入图像。最近的研究表明,可以使用生成网络进行高质量的面部纹理恢复,生成网络是从一个大规模的高分辨率面部纹理UV图数据库中训练出来的,生成网络很难准备,也不能公开获得。在本文中,我们介绍了一种方法,以高保真纹理重建三维面部形状从单视图的野外图像,而不需要捕获大规模的人脸纹理数据库。主要的想法是细化最初的纹理由一个基于3DMM的方法产生的面部细节从输入的图像。为此,我们提出使用图卷积网络重建网格顶点的详细颜色,而不是重建对应作者的UV地图。实验表明,我们的方法可以产生高质量的结果,并在定性和定量的比较优于先进的方法。
现有方法存在的问题:
1)从3DMM计算出的纹理无法捕获输入图像的面部细节,尤其是对于野外图像。
2)针对上诉问题,虽然最近有一些工作试图从2D图像中重建高质量的纹理,但他们的方法需要一个大规模的高分辨率UV地图数据库,而这是无法公开获得的。此外,捕获这样的数据库相当费力,对于普通用户来说是不可行的。
文章的创新点:
1)提出了一个由粗到细的框架,用于从单一图像重建具有高保真纹理的三维人脸,而不需要捕获大规模的高分辨率人脸纹理数据。
2)用图卷积网络来生成高保真人脸纹理的人,它能够从图像中为网格顶点生成详细的颜色。
使用图卷积网络从野外图像实现高保真3D人脸重建_第1张图片fig2 我们方法的总体由粗到细的框架。黄色的方块是预先训练好的,灰色的方块是不可训练的,蓝色的方块是可以训练的。回归器对输入图像I中的3DMM系数、人脸姿态和光照参数进行回归,其中使用3DMM系数通过PCA模型计算人脸形状S(坐标,如x, y, z)和粗糙纹理T(反照率,如r, g, b)。利用FaceNet从i中提取一个嵌入的人脸,然后将粗纹理和嵌入的人脸分别输入GCN细化器和GCN解码器。两个GCNs的输出沿通道轴连接(捐赠as)并送入联合网,联合网产生精细纹理T0。鉴别器尝试通过对抗性训练来提高纹理细化模块的输出
提出了一种从粗到精的3D人脸重建方法。 如图2所示,我们的框架由三个模块组成:
1)特征提取模块。特征提取模块包括一个用于回归3DMM系数,面部姿势和照明参数的回归器,以及一个FaceNet [32],用于提取图像特征以进行后续的细节优化和身份保留。
具体做法:
第一步是使用CNN从输入图像中回归3DMM系数和渲染参数。
第二步:利用预先训练好的FaceNet[32]从人脸图像中提取一个特征向量。提取的特征有两个用途。首先,它可以作为图像特征的嵌入,用于我们的解码器,以生成网格顶点的详细反照率颜色,这在第3.3节中描述。第二,在3.4秒的身份保留损失中,可以用来测量身份距离。
第三步:利用从回归器生成的形状S,纹理T和姿势,我们可以计算投影在输入图像上的面部反照率。 由于投影的面部反照率不是最终结果,因此我们用估计的光照进一步照亮了面部网格,并将其渲染以获得最终图像R,将其与输入图像进行比较以计算损失。 照明和渲染的示例如图3所示。
使用图卷积网络从野外图像实现高保真3D人脸重建_第2张图片
fig3.从左到右:输入图像,只有反照率的渲染图像,和有光照纹理的渲染图像。
2)纹理优化模块。纹理优化模块由三个图形卷积网络组成:用于解码从FaceNet提取的特征并为网格顶点生成详细颜色的GCN解码器,用于优化从回归器生成的顶点颜色的GCN精化器,以及将两种颜色组合在一起的组合器 产生最终的顶点颜色。

  1. 解码器以FaceNet的特征向量作为输入,并为每个顶点生成反照率RGB值。译码器的结构是按照残差网络的思想建立的,残差网络由四个频谱残差块组成;
  2. GCN精化器使用光谱卷积层来精细3DMM模型的顶点颜色。它还包含光谱残差块类似于解码器。但在网络的底部和顶部分别部署了一个下采样层和一个上采样层;
  3. 组合网络将沿着通道轴将解码器和细化器的输出连接起来,并将它们送入一个图形卷积层;
  4. 最后采用可区分的渲染器来监督我们的纹理细化模块的训练,具体来说,我们用光照将3D人脸网格渲染到R0,并将其与输入图像进行比较。
    3)鉴别器。鉴别器试图通过对抗训练来改善纹理细化模块的输出,被部署在输入的2D图像和重建的3D人脸网格的渲染图像上。
    损失函数:
    采用了四个损失函数:像素损失(pix-wise-loss),身份损失(Identity-Preserving Loss),Vertex-wise Loss,对抗损失(Adversarial loss)
    实验细节:
    在训练之前,每个人脸图像都按照[8]方法进行对齐。然后使用在Halen数据集[21]上预先训练的[33]网络进行人脸分割,为每张人脸图像生成一个人脸区域掩模。
    实验结果:
    使用图卷积网络从野外图像实现高保真3D人脸重建_第3张图片
    评价标准:L1距离,峰值信噪比(PSNR)和结构相似性指数(SSIM)
    使用图卷积网络从野外图像实现高保真3D人脸重建_第4张图片

你可能感兴趣的:(使用图卷积网络从野外图像实现高保真3D人脸重建)