【阅读论文笔记】《3D Morphable Models as Spatial Transformer Networks》

《3D Morphable Models as Spatial Transformer Networks》

Bas A , Huber P , Smith W A P , et al. 3D Morphable Models as Spatial Transformer Networks[C]// 2017 IEEE International Conference on Computer Vision Workshop (ICCVW). IEEE Computer Society, 2017.

通过3Dface Morphable model 将image映射为一个pose-invarient image ，并且由于使用同一个morphable model 进行映射，所以最终映射imgae 的每一个像素均与morphable model 中的一个点相对应，即每一个点均有一个确定的语义信息。

1.localiser network

使用VGG net 回归以下几个量：

Rotation \translate scale of 3D Morphable model and Shape parameters

2.Grid generator network （不是传统意义上的 neural network ）

（1） 3D morphable model layer  使用shape parameters 产生 3D face model

类似于一个权重和偏置不能更新的全连接层，可以实现反向传播。

（2） axis-angle to rotation matrix layer

同样可实现反向传播

  （3） 3D rotation layer

可实现反向传播

  (4) Orthographic projection layer

    (5)Scaling and translation layer

1. Sampling

使用Tutte embedding 生成geometry image  使用双线性插值进行采样

ask layer

根据是否是self-occlued 计算mask image

   3.Loss

(1) bilateral symmetry loss

(2) siamese multi-view fitting loss  如果不存在multi-view image of same object ,可以使用horizontal reflection of face image

（3）landmark loss

 （4）statistical prior loss,等于model parameter 的L2正则化项