LADN: Local Adversarial Disentangling Network for Facial Makeup and De-Makeup

LADN: Local Adversarial Disentangling Network for Facial Makeup and De-Makeup

摘要

本文是基于局部对抗网络来做的，可以用来美妆也可以用来去美妆。中心思想是多尺度重叠的判别器在基于内容的消去网络，获得面部图片的局部迁移细节。 目前的网络无法实现细节。交叉风格迁移无监督的设置。

没有配对的妆前妆后照片可以拿到。

文中主要贡献

1. 使用局部对抗判别器而不是剪切图片。模型能够更好的迁移和卸妆
2. 通过系统的loss的合作，loss是在美妆分支以及卸妆分支上，可以很好的区分latent 向量。如此网络可以生成真实图片。

生成美妆和去美妆

美妆推荐论文[21，23，3]

LADN

缺少像素对齐的妆前妆后照片，文中主要讲妆容迁移和去除问题作为一个无监督的问题去考虑。

可以这么理解EC表示内容，Ea表示风格。两者交叉组合。基于内容的分支加了跳线。

模型详述

定义化妆前的数据{xi} i=1….M, 化妆后的数据{yj}j=1,….,N。I, j 表示面部图像的身份，妆容风格在y中的数据可以相互之间各不相同，未化妆的和化妆的也不会一个身份成对出现。

模型结构详解

首先定义内容encoder

定义风格encoder

生成器两个

文中dcoder encoder使用的是unet 网络，将内容latent 与 风格latent进行concat然后经过生成器输出结果。

然后使用两个判别器

判断卸妆和化妆的

首先的对抗loss如下

局部style loss 判别器

局部判别器实现妆容风格的细节。使用合成的groud truth W(xi, yj ) 根据landmarks扭曲和进行对齐。扭曲时产生伪影，但是这些能够修负被生成网络的结果，使用local 判别器来构建style loss，能够帮助生成器捕捉到妆容。

使用over lapping的补丁。来训练模型，其中512*512 的图片，局部图片补丁大小是102*102。

假设有k个landmarks，那么每个landmark都会有一个局部补丁。就会有k个local判别器。

Local 判别器loss将会有下面的形式

 

不对称loss

在化妆迁移的分支使用高阶loss能够迁移更多的细节。平滑loss主要应用于卸妆分支，使得面部颜色更加流畅。

高阶loss

 

高阶loss值如下使用了laplace算子如下：

其中h是权重，f是拉普拉斯算子。

Smooth loss

其中s是权重，f是laplace算子。

 

Other loss function

 

加入重构loss到网络中类似cycle gan，将本人的风格和内容输入到一个网络中生成图像，将生成的图像与原始图像对比，形成loss。

通过生成的结果~xj, xi~抽取特征生成不同风格的图像再次做对比

KL 散度

将妆容表达，从encoder中获得，为了符合先验高斯分布给出一个KL loss如下

其中总的loss如下