人像图片Relight

你读的书构成了你，如果用一个词来形容你，那会是----破局者。

论文： Deep Single-Image Portrait Relighting

Github：https://github.com/zhhoper/DPR

ICCV2019

重光照问题，需要解决人脸几何形状face geometry, 反射reflectance , 光照lighting这几方面的问题。首先，论文提出了基于ratio image-based (RI-based)方法生成人脸重光照的数据集 portrait relighting dataset (DPR)。其次，论文提出了端到端的relight网络模型，可以根据输入的原图和光谱图实现任意光照的图片生成。网络支持512*512，1024*1024的分辨率。 最终在DPR datset， Flickr portrait dataset ，Multi-PIE dataset 都取得了最佳的效果。

Ratio Image-based Face Relighting：

 

I：输入图片的光照效果

R：参考图片的光照效果

N：法向量

L：光照

相同的图片，在2种不同的光照下，可以表示为下面的形式，

那么，可以得到下面的式子，

 

 Normal Estimation：

使用 3DDFA得到人脸法向量 Face normals。对参考图，用户图，分别进行人脸关键点检测，基于关键点进行三角剖分处理，然后将参考图对齐到用户图的样子。使用同样的方法，对法向量也进行对齐操作，然后进行泊松融合。得到最终的人脸法向量。

其中，基于 As-Rigid-As-Possible-based (ARAP-based) 对人脸法向量进行优化。

ARAP方法不能解决耳朵和脖子的对其问题，这是因为3dmm方法不能很好的重建脖子，耳朵。并且作者也没找到脖子，耳朵的关键点检测算法。所以，作者去掉了脖子，耳朵，背景的法向量。

Relighting Images：

 

使用 SfSNet得到球谐光照 Spherical Harmonic (SH) lighting。最终只在图片的L通道进行relight，来保证图片的颜色不变。

 

 网络结构：

整个网络采用沙漏设计。中间经过4个shortcut直通进行encoder模块和decoder模块的信息传递。在encoder部分，可以输出人脸特征Zf，人脸光照特征Zs。其中光照特征Zs经过后续的网络回归，可以得到最终的球谐光照图L。目标球谐光照图L*经过网络回归生成目标图光照特征Zs*，在decoder模块中，人脸特征Zf和目标图光照特征Zs*共同生成最终的relight后的图片。

损失函数：

 

其中，It表示生成的人脸图，▽It表示人脸图的梯度图，这样做是为了解决人脸边界模糊的问题。Ls表示光照图。 

使用GAN loss来提升生成图片的质量。其中1表示真实，0表示假图。

 

 同一个人在不同光照下，应该具有同样的人脸特征。Zf表示人脸特征。

最终，网络的整体loss就是上面3个loss的加权求和。其中λ = 0.5

实验结果：