三维人脸重建重要知识点讲解

来源：投稿 作者：小灰灰

编辑：学姐

 

什么是三维人脸重建

三维人脸重建就是从一张或多张2D图像中重建出人脸的3D模型，如果是物体重建就是物体的图片当作输入输出物体的模型。

如图所示，我们将input图片当作输入，通过网络输出三维模型，这个三维模型可以是一个以obj，ply后缀名的文件名。下图所示：

2.obj讲解

我们将obj文件通过 meshlab 软件打开，打开后就可以看到我们需要的重建模型。

我们将result.obj用记事本打开可以看到。

那么接下来我们看看obj文件里面怎么表示的。

.obj : 是一种简单的单独表示3D几何图元的文件格式，通俗来讲就是包含顶点的坐标，每个顶点纹理的UV坐标，顶点法向量，以及组成多边形的面的顶点坐标、以及纹理UV坐标序列，Obj文件可以是ASCII的编码(.obj)方式也可以是二进制格式(.mod)。以ASCII格式存储的obj文件必须用.obj作为文件拓展名。

我们的result.obj

第一行# OBJ File:是注释

第二行 mtllib ./result.mtl

因为obj文件不包含面的颜色定义信息，不过可以引用材质库，材质库信息储存在一个后缀是".mtl"的独立文件中。mtl文件是obj文件附属的材质库文件，材质库中包含材质的漫射(diffuse)，环境(ambient)，光泽(specular)的RGB的定义值，以及反射(specularity)，折射(refraction)，透明度(transparency)等其它特征。

所以将 mtllib: 此关键字后参数为文件名称，指定了obj文件所使用的材质库文件(mtl文件)的文件名称。

我们打开result.mtl

可以看见——

newmtl: 定义新的材质组，后面参数为材质组名称

Ka: 材质的环境光（ambient color）

Kd: 散射光（diffuse color）

Ks: 镜面光（specular color）

d，Tr 均可用于定义材质的Alpha透明度

illum：照明度（illumination）后面可接0~10范围内的数字参数

0 Color on and Ambient off ：颜色打开和环境光关闭

1 Color on and Ambient on ：启用颜色和环境光

2 Highlight on

3 Reflection on and Ray trace on

4 Transparency: Glass on

Reflection: Ray trace on

5 Reflection: Fresnel on and Ray trace on

6 Transparency: Refraction on

Reflection: Fresnel off and Ray trace on

7 Transparency: Refraction on

Reflection: Fresnel on and Ray trace on

8 Reflection on and Ray trace off

9 Transparency: Glass on ，Reflection: Ray trace off

10 Casts shadows onto invisible surfaces

map_Ka、map_Kd map_Ks 材质的环境，散射和镜面贴图，对应数据为贴图文件名称

我们对应的是 canonical_image.png

第三行是提示，我们要写几何顶点信息 

# vertices:

v -9.1863 9.1863 -5.0000

v -8.8947 9.1863 -5.0000

v -8.6778 9.2662 -5.9126

v -8.3545 9.2339 -5.5443

v -8.0521 9.2233 -5.4228

一个顶点可以用字符 v开头的一行来提示。接着后面跟上(x, y, z [w])的值来表示顶点坐标。W是可选项，默认为1.0。一些应用支持顶点颜色，通过在x y z后面跟上red, green, blue值来表示。颜色值的范围为0到1.0。

由上图可以看见有8065个顶点，有8065行。

接下来是 # vertice textures: 顶点的贴图坐标点 (Texture vertices)纹理坐标列表，在（u，v[，w]）坐标中，这些坐标将在0和1之间变化，w是可选的，默认为0。

接下来是#vertice normals: （x，y，z）形式的顶点法线列表；法线可能不是单位向量。

vn -0.0000 0.0000 1.0000

vn -0.0000 0.0000 1.0000

vn -0.0000 0.0000 1.0000

vn -0.0000 0.0000 1.0000

vn -0.0000 0.0000 1.0000

vn -0.0000 0.0000 1.0000

vn -0.0000 0.0000 1.0000

vn -0.0000 0.0000 1.0000

vn -0.0000 0.0000 1.0000

接下来是#faces: 

是顶点法线索引，法线索引用于描述顶点的法向量，在描述面的时候是可选项。要添加顶点法线索引，必须在纹理索引之后添加第二根斜线（／），然后在之后添加法线索引。斜线前后不能有空格。

合法的法线索引从1开始，并符合之前面描述的格式。每个面可以包含三个或者更多的单元。

比如"usemtl tex"表示使用的材质。

"f 71/71/71"是 “f 顶点索引/uv点索引/法线索引”

usemtl tex

f 1/1/1 65/65/65 4097/4097/4097

f 2/2/2 66/66/66 4098/4098/4098

f 3/3/3 67/67/67 4099/4099/4099

f 4/4/4 68/68/68 4100/4100/4100

f 5/5/5 69/69/69 4101/4101/4101

f 6/6/6 70/70/70 4102/4102/4102

f 7/7/7 71/71/71 4103/4103/4103

以上就是result.obj里面的所有内容。

ply讲解

ply：这个格式主要用以储存立体扫描结果的三维数值，透过多边形片面的集合描述三维物体，与其他格式相较之下这是较为简单的方法。它可以储存的资讯包含颜色、透明度、表面法向量、材质座标与资料可信度，并能对多边形的正反两面设定不同的属性。

每个PLY档都包含档头（header），用以设定网格模型的“元素”与“属性”，以及在档头下方接着一连串的元素“数值资料”。一般而言，网格模型的“元素”就是顶点（vertices）、面（faces），另外还可能包含有边（edges）、深度图样本（samples of range maps）与三角带（triangle strips）等元素。

第一行写ply

format ascii 1.0 #开头作为PLY格式的识别。

接着第二行是版本。

element vertex 97991 # 描述元素及属性，必须使用’element’及’property’的关键字。

element face 194286 一个具有10个面的物体，其PLY档头可能包含。

property list uchar int vertex_indices

'property list’表示该元素face的特性是由一行的顶点列表来描述。列表开头以uchar型态的数值表示列表的项目数，后面接着资料型态为int的顶点索引值（vertex_indices），顶点索引值从0开始。最后，标头必须以此行结尾：end_header

-0.7221392 63.663975 97.95859 201 150 121：顶点元素列表一般以x y z方式排列。

3 17141 17426 17427 ：表示面元素列表。

点击卡片关注公众号，更多论文解读干货