Face Aging with Identity-Preserved Conditional Generative Adversarial Networks

Face Aging with Identity-Preserved Conditional Generative Adversarial Networks

Abstract

人脸老化对于年龄识别和娱乐相关的应用具有重要意义。然而，我们没有同一个人的不同年龄段对应的标签使得问题很好挑战性。由于不同人的老化速度不同，我们的人脸老化方法的目的是合成目标年龄在某一特定年龄组的人脸，而不是合成具有确定年龄的人脸。将目标年龄的人脸进行分组，人脸老化相当于将人脸迁移到某一年龄组集合中。同时，合成的人脸应该与输入人脸具有相同的特征。因此我们提出一个Identity-Preserved条件生成对抗网络(IPCGANs)框架。

主要创新点 贡献

1.使用了年龄分类网络和保持人脸身份细节网络。
2.通过用户调查验证了结果的可靠性。
3.作者提出的IPCGANs 是一个通用的框架。可以用来解决其他的多属性迁移问题。

数据集

作者使用了公开数据集CACD，包含2000名年龄在16岁至62岁之间的名人的面部照片，总过超过16万张。所有的图片都标注了年龄。在这个数据集中，姿势、光照、表情甚至风格都有很大的变化。作者90%用来训练，其余用来测试。作者将数据集分为五组。11-20, 21-30, 31-40, 41-50, and 50+ is 8,656,36,662, 38,736, 35,768 and 26,972, respectively.

主要思想

论文结构很清晰。可分为四个模块。一个生成网络，一个判别网络，一个年龄分类网络，和一个预训练的AlexNet。
网络的输入将图像与对应的目标年龄结合起来，经过生成网络输出。然后输入判别网络。将生成的图片经过了一个分类网络。最后还将生成的图片和输入图片一块输入预训练好的AlexNet计算感知loss。

损失函数

CGANs based face generation module
这里使用了LSGAN损失函数
$\begin{array}{rl}{L}_D& =\frac{1}{2}{\mathbb{E}}_{x\sim p_x(x)}\left[(D(x|C_t)-1{)}^2\right]\\ & +\frac{1}{2}{\mathbb{E}}_{y\sim p_y(y)}[\left(D(G(y|C_t){)}^2\right]\\ L_G& =\frac{1}{2}{\mathbb{E}}_{y\sim p_y(y)}\left[(D(G(y)|C_t)-1{)}^2\right]\end{array}$
Identity-preserved module
为了是生成的人脸保持原有的身份信息。作者引入了perceptual loss去控制人脸的细节。这里$h(x)$代表提取的特征层，实验表明，较低的特征层善于保存内容，而较高的层保存的图片的颜色，纹理部分，因此作者采用了计算底层特征之间的均方误差。
$L_{identity}={\sum }_{x\in p_x(x)}\Vert h(x)-h(G(x|C_t)\Vert {}^2$

Age classification module
$L_{age}={\sum }_{x\in p_x(x)}\ell \left(G(x|C_t),C_t\right)$
Objective function
$\begin{array}{rl}{G}_{loss}& ={\lambda }_1{L}_G+{\lambda }_2{L}_{identity}+{\lambda }_3{L}_{age}\\ D_{loss}& =L_D\end{array}$

缺点

个人认为生成的图片不是很清楚。
代码开源：
https://github.com/dawei6875797/Face-Aging-with-Identity-Preserved-Conditional-Generative-Adversarial-Networks