《MeInGame: Create a Game Character Face from a Single Portrait 》论文解读

一：论文干了件什么事

从单张图片生成一个游戏中的虚拟形象，且，论文的方法对光照强度，光照阴影遮挡等具有很好的鲁棒性，可以忠实还原肤色、妆容和皱纹等个性化细节。

摘要：

近年来，基于深度学习的三维人脸重建方法层出不穷，但应用于游戏领域的却很少。目前的游戏角色定制系统要么要求玩家手动调整相当多的面部属性来获得想要的面部，要么对面部形状和纹理的自由度有限。在本文中，我们提出了一种自动从单个人像中预测人脸形状和纹理的角色人脸创建方法，该方法可以集成到大多数现有的3D游戏中。虽然基于 3D Morphable Face Model (3DMM)的方法可以从单个图像中精确地恢复三维脸，但3DMM网格的拓扑结构与大多数游戏中使用的网格不同。为了获得逼真的纹理，现有的方法需要大量的人脸纹理数据进行训练，而建立这样的数据集是耗时费力的。此外，在实验室条件下收集的数据可能不能很好地推广到野外情况。针对这些问题，我们提出了1)低成本的人脸纹理获取方法;2)一种将三维网格的形状转换为游戏的形状传递算法;3)一种新的训练三维游戏人脸重建网络的管道。所提出的方法可以产生详细和生动的游戏角色类似的输入肖像。

二：论文怎么做的

步骤：

1:input image 通过3DMM 得到3DMM mesh
2: 3DMM mesh 通过shape transfer，得到game mesh
2.1）shape transfer：通常用 Non-rigid Iterative Closest Point (Nonrigid ICP，非刚性最近迭代) algorithm，但是本论文中觉得这个算法transfer过程不够快，自己提出一个新的shape transfer算法。
2.2）本文的shape transfer过程：本文的shape transfer基于 Radial Basis Function (RBF，径向基函数)插值。公式为：

首先，分别手动在模版3DMM mesh和模板game mesh中挑选68个landmark，将挑选出的这68个点当作original face landmarks。
其次，将game mesh中的original face landmarks，当作RBF的中心,x是原始的坐标值，计算出的f(x)是game mesh的偏置，所以，新的game mesh坐标就是x+f(x).
3: 提取input image特征得到image features，将image features送到光照回归网络中，得到光照系数。
4:基于game mesh，将input image展开到 UV 空间，得到粗糙的纹理贴图。
5: 提取粗糙的纹理贴图特征，与image features叠加到一起，送到texture decoder 网络中，得到精细化的纹理贴图。
6:将game mesh，精细化的纹理贴图，pose系数，光照系数一起作为输入，送到differentiable renderer（可微分渲染器）中，得到最终的游戏卡通形象。
7:为了进一步提高结果，还引入了两个鉴别器，一个用于渲染的面部图像和另一个用于生成的面部纹理贴图。

三：低成本的uv map 获取

步骤：

1:通过人脸分割模型，获取脸的位置
2:计算输入图均值颜色，然后将均值颜色传递到模版纹理贴图上
3:根据game mesh,将输入图unwrapping到UV 空间，得到粗糙的纹理贴图。
4:使用泊松混合映射，将unwrapped image 与模板纹理贴图混合。

四：损失函数

通过损失函数来最小化渲染的人脸图像和输入的人脸照片之间的距离，并且细化纹理贴图与地面的距离真实纹理贴图。在渲染循环中，我们设计了四个损失函数的类型，即像素损失、感知损失、皮肤正则化损失和对抗性损失。

1:Pixel Loss

在渲染图和原图之间的像素损失。

i表示像素点的索引。M2d表示皮肤区域蒙版，由人脸分割模型得到。
在uv 展开图像素损失。

F是精细化的纹理贴图，G是ground truth纹理贴图。

2:Perceptual Loss （不懂，需要看代码）

3:Skin Regularization Loss

定义了两个loss，分别是对称损失（symmetric loss）和标准差损失（standard-deviation loss）。

4:Adversarial Loss

用于原图与渲染图，精细化的纹理贴图和ground truth纹理贴图之间的对抗loss，训练gan网络。