(D3DFR)Accurate 3D Face Reconstruction with Weakly-Supervised Learning From Single Image to Image...

亮点:主要是提出了通过同一人多张图来生成更精细的人脸3D模型的方案,主要框架是基于3DMM的。

Lambertian surface-朗伯面:即入射光会向所有方向均匀反射,也即漫反射的期望状态
spherical harmonic lighting-球谐光照:就是用来模拟光照的一个方案。类似于傅里叶变换,将一个复杂的函数分解为多个正交的基底函数,通过计算他们的系数来获得最终的结果。主要目的是为了快速模拟复杂的实时光照。
monochromatic lights-单色光:即单一频率的光,无法发生色散。对应的是复色光,如太阳光。
模型框架:使用R-NET从图片中提取人脸的参数(身份,表情,纹理,姿态,光照),然后使用可微分的渲染重构回2D模型,最后直接计算像素损失。
Robust Photometric Loss:计算生成图片和原始图片下的像素损失。计算像素损失时使用了一个基于皮肤的mask,这个mask是使用专门训练的皮肤检测器来提取的,用于保证loss只计算有皮肤的部分。
Landmark Loss:计算深沉图片和原始图片之间landmark之间的损失,这里是用了别人提供的landmark检测模型。
Perception Level Loss:发现只使用以上两个基于图片的loss会导致3D形状偏差较大的问题。所以作者又专门训练了一个FaceNet,用来提取图片的深度信息,然后再在两个图像上算损失。
Regularization:约束了一下texture的variance
Weakly-supervised Neural Aggregation for Multi-Image Reconstruction:作者认为同一个人的多个照片应该拥有类似的3D形状,因此他设计了一个方式来用多张2D图片来约束同一个3D模型。即先设计一个confidence net,用于输出每张图片对于目标3D模型的置信度,然后对每个图像由R-NET预测出的shape参数基于C-net给出的置信度做加权平均,进而得到最终的3D模型。

你可能感兴趣的:((D3DFR)Accurate 3D Face Reconstruction with Weakly-Supervised Learning From Single Image to Image...)