什么是三维人脸重建?

来源:投稿 作者:小灰灰
编辑:学姐

什么是三维人脸重建

三维人脸重建就是从一张或多张2D图像中重建出人脸的3D模型,如果是物体重建就是物体的图片当作输入输出物体的模型。

什么是三维人脸重建?_第1张图片

如图所示,我们将input图片当作输入,通过网络输出三维模型,这个三维模型可以是一个以obj,ply后缀名的文件名。下图所示:

什么是三维人脸重建?_第2张图片

2.obj讲解

我们将obj文件通过 meshlab 软件打开,打开后就可以看到我们需要的重建模型。

什么是三维人脸重建?_第3张图片

我们将result.obj用记事本打开可以看到。

什么是三维人脸重建?_第4张图片

那么接下来我们看看obj文件里面怎么表示的。

.obj : 是一种简单的单独表示3D几何图元的文件格式,通俗来讲就是包含顶点的坐标,每个顶点纹理的UV坐标,顶点法向量,以及组成多边形的面的顶点坐标、以及纹理UV坐标序列,Obj文件可以是ASCII的编码(.obj)方式也可以是二进制格式(.mod)。以ASCII格式存储的obj文件必须用.obj作为文件拓展名。

我们的result.obj

什么是三维人脸重建?_第5张图片

第一行# OBJ File:是注释

第二行 mtllib ./result.mtl

因为obj文件不包含面的颜色定义信息,不过可以引用材质库,材质库信息储存在一个后缀是".mtl"的独立文件中。mtl文件是obj文件附属的材质库文件,材质库中包含材质的漫射(diffuse),环境(ambient),光泽(specular)的RGB的定义值,以及反射(specularity),折射(refraction),透明度(transparency)等其它特征。

所以将 mtllib: 此关键字后参数为文件名称,指定了obj文件所使用的材质库文件(mtl文件)的文件名称。

我们打开result.mtl

什么是三维人脸重建?_第6张图片

可以看见——

newmtl: 定义新的材质组,后面参数为材质组名称

Ka: 材质的环境光(ambient color)

Kd: 散射光(diffuse color)

Ks: 镜面光(specular color)

d,Tr 均可用于定义材质的Alpha透明度

illum:照明度(illumination)后面可接0~10范围内的数字参数

0 Color on and Ambient off :颜色打开和环境光关闭

1 Color on and Ambient on :启用颜色和环境光

2 Highlight on

3 Reflection on and Ray trace on

4 Transparency: Glass on

Reflection: Ray trace on

5 Reflection: Fresnel on and Ray trace on

6 Transparency: Refraction on

Reflection: Fresnel off and Ray trace on

7 Transparency: Refraction on

Reflection: Fresnel on and Ray trace on

8 Reflection on and Ray trace off

9 Transparency: Glass on ,Reflection: Ray trace off

10 Casts shadows onto invisible surfaces

map_Ka、map_Kd map_Ks 材质的环境,散射和镜面贴图,对应数据为贴图文件名称

我们对应的是 canonical_image.png

什么是三维人脸重建?_第7张图片

第三行是提示,我们要写几何顶点信息

vertices:

v -9.1863 9.1863 -5.0000

v -8.8947 9.1863 -5.0000

v -8.6778 9.2662 -5.9126

v -8.3545 9.2339 -5.5443

v -8.0521 9.2233 -5.4228

一个顶点可以用字符 v开头的一行来提示。接着后面跟上(x, y, z [w])的值来表示顶点坐标。W是可选项,默认为1.0。一些应用支持顶点颜色,通过在x y z后面跟上red, green, blue值来表示。颜色值的范围为0到1.0。

什么是三维人脸重建?_第8张图片

由上图可以看见有8065个顶点,有8065行。

接下来是 # vertice textures: 顶点的贴图坐标点 (Texture vertices)纹理坐标列表,在(u,v[,w])坐标中,这些坐标将在0和1之间变化,w是可选的,默认为0。

什么是三维人脸重建?_第9张图片

接下来是#vertice normals: (x,y,z)形式的顶点法线列表;法线可能不是单位向量。

vn -0.0000 0.0000 1.0000

vn -0.0000 0.0000 1.0000

vn -0.0000 0.0000 1.0000

vn -0.0000 0.0000 1.0000

vn -0.0000 0.0000 1.0000

vn -0.0000 0.0000 1.0000

vn -0.0000 0.0000 1.0000

vn -0.0000 0.0000 1.0000

vn -0.0000 0.0000 1.0000

接下来是#faces:

是顶点法线索引,法线索引用于描述顶点的法向量,在描述面的时候是可选项。要添加顶点法线索引,必须在纹理索引之后添加第二根斜线(/),然后在之后添加法线索引。斜线前后不能有空格。

合法的法线索引从1开始,并符合之前面描述的格式。每个面可以包含三个或者更多的单元。

比如"usemtl tex"表示使用的材质。

"f 71/71/71"是 “f 顶点索引/uv点索引/法线索引”

usemtl tex

f 1/1/1 65/65/65 4097/4097/4097

f 2/2/2 66/66/66 4098/4098/4098

f 3/3/3 67/67/67 4099/4099/4099

f 4/4/4 68/68/68 4100/4100/4100

f 5/5/5 69/69/69 4101/4101/4101

f 6/6/6 70/70/70 4102/4102/4102

f 7/7/7 71/71/71 4103/4103/4103

以上就是result.obj里面的所有内容。

ply讲解

ply:这个格式主要用以储存立体扫描结果的三维数值,透过多边形片面的集合描述三维物体,与其他格式相较之下这是较为简单的方法。它可以储存的资讯包含颜色、透明度、表面法向量、材质座标与资料可信度,并能对多边形的正反两面设定不同的属性。

每个PLY档都包含档头(header),用以设定网格模型的“元素”与“属性”,以及在档头下方接着一连串的元素“数值资料”。一般而言,网格模型的“元素”就是顶点(vertices)、面(faces),另外还可能包含有边(edges)、深度图样本(samples of range maps)与三角带(triangle strips)等元素。

第一行写ply

format ascii 1.0 #开头作为PLY格式的识别。

接着第二行是版本。

element vertex 97991 # 描述元素及属性,必须使用’element’及’property’的关键字。

element face 194286 一个具有10个面的物体,其PLY档头可能包含。

property list uchar int vertex_indices

'property list’表示该元素face的特性是由一行的顶点列表来描述。列表开头以uchar型态的数值表示列表的项目数,后面接着资料型态为int的顶点索引值(vertex_indices),顶点索引值从0开始。最后,标头必须以此行结尾:end_header

什么是三维人脸重建?_第10张图片

-0.7221392 63.663975 97.95859 201 150 121:顶点元素列表一般以x y z方式排列。

3 17141 17426 17427 :表示面元素列表。

关注下方《学姐带你玩AI》

回复“CVPR”免费获取

CVPR三维重建方向必读论文

码字不易,欢迎大家点赞评论收藏!

你可能感兴趣的:(粉丝的投稿,深度学习干货,人工智能干货,人工智能,三维人脸重建,计算机视觉)