Face Normals “in-the-wild” using Fully Convolutional Networks

这篇文章是解决in-the-wild情况下的2D图片到3D模型的生成问题。
这一问题的主要困难在于没有现成的数据集，也即现有的in-the-wild 2D人脸数据集都没有对应的3D扫描结果，因此作者尝试将现有的3D人脸贴合到2D图片上来获得新的图片，从而得到对应的3D扫描结果。
文中收集了一堆有3D面部扫描的数据集（还有一些基于不同人造光照的数据集，不过可以通过算法还原成3D面部扫描），然后人工在3D脸上标68个landmark，然后通过landmark对其到300w之类的2d数据集上，从而构造一些虚假的3d in-the-wild数据集。之后在构造的数据集上训练一个基于resnet50的网络，这个网络端到端的还原3DMM中的面部形状和纹理的PCA特征。结果表明效果不错。