A Morphable Model For The Synthesis Of 3D Faces

    1.Introduction

    人脸合成之类的问题可描述为1)corresponding problem:在不同的人脸之间寻找对应的特征区域，or:从不会出现在真实世界中的人脸分离出真实的人脸。一张脸中的labeled feature points(number of 50 to 300)必须精确地在另一张脸上被定位到。

    本文提出了一种参数化的face modeling technique。The morphable face model 是一个多维的3D形变函数，它是基于大量的3D面部扫描的线性组合的。计算数据集中的平均人脸和主要的modes of variation，morphing function被施加了一个概率分布以避免不可能的人脸出现。我们还通过评估面部空间中每个属性的样本脸的分布，推导出面部属性的参数描述，例如性别，独特性，“钩住”的鼻子或人的重量。

    matching procedure的输出是一个高质量的3D人脸模型，与我们的morphable face完全对应。因此，在我们的模型函数中参数化的所有面部操作都可以映射到目标面部。即使只有一幅图片可用，我们的模型函数中捕获的关于一般人脸形状和纹理的先验知识足以对面部的完整3D形状和纹理进行合理估计。

    我们方法的key part是一个人脸的泛化的模型。然而，我们直接使用通过激光扫描获得的样本face的密集采样几何体，而不是使用一组有限的面部标志点之间的有限度量和比例。这个3D人脸模型是人脸几何之间的插值技术的延伸。这种扩展的可变形脸部模型的目标是将任何脸部表示为有限基础脸部原型集合的线性组合。   

    我们的自动化matching procedure可以被用于取代需要在展示的图片中标注几个对应特征的人工初始化步骤。

    2.Database

    Laser scans(Cyberware)，200个成年人的头部（男女各100）。以圆柱形表示提供头部的结构数据，半径r(h,φ），512个等间隔角度φ，512个等间隔垂直步长h采样的surface points。此外，RGB-color values R(h,φ），G(h,φ），B(h,φ）被记录在相同的空间分辨率中，存储在每通道8bit的texture map中。

    所有的faces都没有化妆，配饰和面部毛发。受试者是穿着泳帽被扫描的，随后被removed digitally。合成的面部有大约7W个顶点和相同数量的颜色值表示。

    3.Morphable 3D Face Model

    我们用一个shape-vector S=来表示the geometry of a face，包含了它的n个vertices的X,Y,Z

坐标。为了简化，我们假设有效texture map中的texture values的数量等于vertices的数量。因此我们可以通过一个包含n个对应vertices的R,G,B颜色值的texture-vector 来表示一张人脸的texture。 一个morphable face model就可以通过m各样本faces的数据集来构建，每个face都是由它的shape-vector Si和texture-vector Ti来表示的。 因为我们假设所有的faces是full correspondence，所以新的