GANimation: Anatomically-aware Facial Animation from a Single Image

GANimation: Anatomically-aware Facial Animation from a Single Image

paper motivation

近期生成对抗网络（GAN）在人脸表情合成任务中取得了惊人的表现，其中最成功的架构是 StarGAN，但该架构只能生成不连续的表情。为突破这一局限，本文提出了一种基于动作单元（AU）标注的新型 GAN 条件化方法，可以从单张图像和表情编码生成连续的表情动画，生成的图像具备连贯性、真实性、广泛性、鲁棒性。该方法以完全无监督的方式进行训练，使用符合人类解剖结构的面部动作编码系统来编码面部表情。

主要创新点

1）GANimation将Action Units（AU）与GAN结合。AU就是动作单元，利用动作单元来描述面部表情，动作单元在解刨学上与特定的面部肌肉收缩有关。动作单元的数量不多，只有不到30个，但是可以通过将动作单元进行组合有7000多种面部表情。比如一个恐惧的面部表情可以是AU1,AU2,AU4…等的结合。通过设置参数来控制一组合目标动作单元（AU)的激活程度，从而实现了对人脸表情的渐变插值过程。（2）将Attention引入到了模型中。生成网络包含两部分，$G_A$输出注意力掩模$A$。$G_I$输出的是RGB掩模$C$。最后结果是$(1-\mathbf{A})\cdot \mathbf{C}+\mathbf{A}\cdot {\mathbf{I}}_{{\mathbf{y}}_o}$,${\mathbf{I}}_{{\mathbf{y}}_o}$是输入图像。通过引入Attention可以用于克服生成图片中背景和光照的影响。

主要思想

一种无监督条件生成对抗网络。
什么是AU
医学上会把人脸肌肉分为不同的区域，那么人脸做出表情的时候，某些区域会有不同程度的变化，比如说左边这个图，这个惊恐的表情，有这些部位会有不同程度的运动。这个数据集就是记录了人脸做各种表情的时候各个区域的变化程度。一般的表情数据集的label都是说这个人脸是什么表情，那这个数据集的label不是离散的各种表情的定义，而是用向量来表示各个区域不同程度的表情变化。通过调节表情向量就可以使这篇文章的模型输出不同程度的表情。这个向量就长下面这个样子，向量长度为N，表示脸部N个区域，每个值的范围从0到1.表示运动程度。 $y_r={\left(y_1,y_2,\dots ,y_N\right)}^T$ . 作者使用了EmotioNet数据集

网络结构

如上图所示，网络由一组生成网络G和判别网络D组成。生成网络和判别网络分别由两个子网络组成。模型的输入图像定义为图像$I_{y_r}$和目标单元$y_g$ 的合并。生成网络$G_A$回归一个注意力掩码，用来只关注人脸忽略背景 ；$G_I$用来生成颜色掩码。判别网络$D_I$用来判别生成的图片的真实性；$D_y$用来回归输出图像的目标动作单元。

具体看生成网络，其不是回归整个图片，而是输出了两个掩码，一个注意力掩码$A$和一个RGB颜色掩码。最终的输出图像由$(1-\mathbf{A})\cdot \mathbf{C}+\mathbf{A}\cdot {\mathbf{I}}_{{\mathbf{y}}_o}$,得出${\mathbf{I}}_{{\mathbf{y}}_f}$。

损失函数

Adversarial Loss
用来判别生成图像的真实性，作者使用了WGAN_GP
${\mathbb{E}}_{{\mathbf{I}}_{{\mathbf{y}}_o}\sim {\mathbb{P}}_o}\left[D_{\mathrm{I}}\left(G\left({\mathbf{I}}_{{\mathbf{y}}_o}|{\mathbf{y}}_f\right)\right)\right]-{\mathbb{E}}_{{\mathbf{I}}_{{\mathbf{y}}_o}\sim {\mathbb{P}}_o}\left[D_{\mathrm{I}}\left({\mathbf{I}}_{{\mathbf{y}}_o}\right)\right]+{\lambda }_{\mathrm{g}\mathrm{p}}{\mathbb{E}}_{I\sim {\mathbb{P}}_{\overline{I}}}\left[{\left({\Vert {\nabla }_I{D}_{\mathrm{I}}(I)\Vert }_2-1\right)}^2\right]$

Attention Loss
在训练数据中attention masks和color masks是没有ground-truth的，他们都是由网络自己来学习的。在训练过程中attention masks$A$容易饱和到1，对应公式$(1-\mathbf{A})\cdot \mathbf{C}+\mathbf{A}\cdot {\mathbf{I}}_{{\mathbf{y}}_o}$,${\mathbf{I}}_{{\mathbf{y}}_o}$将失去意义。为了防止这种情况，对$A$做L2损失。
${\lambda }_{\mathrm{T}\mathrm{V}}{\mathbb{E}}_{{\mathbf{I}}_{y_o}\sim {\mathbb{P}}_o}\left[{\sum }_{i,j}^{H,W}\left[{\left({\mathbf{A}}_{i+1,j}-{\mathbf{A}}_{i,j}\right)}^2+{\left({\mathbf{A}}_{i,j+1}-{\mathbf{A}}_{i,j}\right)}^2\right]\right]+{\mathbb{E}}_{{\mathbf{I}}_{\mathbf{o}}\sim {\mathbb{P}}_o}\left[\Vert \mathbf{A}{\Vert }_2\right](2)$

Conditional Expression Loss
生成网络不仅要学会渲染真是的人脸，还要学会去生成满足目标条件$y_f$。这部分损失包含两部分。对于Fake image 回归的AU用来更新G网络；对于Real image回归的AU用来更新D网络。
${\mathbb{E}}_{{\mathbf{I}}_{{\mathbf{y}}_o}\sim {\mathbb{P}}_o}$$[\Vert D_y\left(G\left({\mathbf{I}}_{{\mathbf{y}}_o}|{\mathbf{y}}_f\right)\right)]-{\mathbf{y}}_f{\Vert }_2^2]+{\mathbb{E}}_{{\mathbf{I}}_{{\mathbf{y}}_o}\sim {\mathbb{P}}_o}\left[{\Vert D_{\mathbf{y}}\left({\mathbf{I}}_{{\mathbf{y}}_o}\right)-{\mathbf{y}}_o\Vert }_2^2\right]$

Identity Loss.
之前的loss是用来引导网络生成更加真实的图像，此外我们还需要保证生成的图像能够保留原始的身份信息。类似cyclegan ，将生成的Fake image 和original AU ${\mathbf{I}}_{{\mathbf{y}}_r}$ 结合生成的图片计算L1 loss。
${\mathcal{L}}_{\mathrm{i}\mathrm{d}\mathrm{t}}\left(G,{\mathbf{I}}_{y_o},{\mathbf{y}}_o,{\mathbf{y}}_f\right)={\mathbb{E}}_{{\mathbf{I}}_{y_o}\sim {\mathbb{P}}_o}\left[{\Vert G\left(G\left({\mathbf{I}}_{y_o}|{\mathbf{y}}_f\right)|{\mathbf{y}}_o\right)-{\mathbf{I}}_{y_o}\Vert }_1\right]$

Full Loss.
$\begin{array}{rl}\mathcal{L}=& {\mathcal{L}}_{\mathrm{I}}\left(G,D_{\mathrm{I}},{\mathbf{I}}_{{\mathrm{y}}_r},{\mathbf{y}}_g\right)+{\lambda }_{\mathrm{y}}{\mathcal{L}}_{\mathrm{y}}\left(G,D_{\mathrm{y}},{\mathbf{I}}_{{\mathrm{y}}_r},{\mathbf{y}}_r,{\mathbf{y}}_g\right)\\ & +{\lambda }_{\mathrm{A}}\left({\mathcal{L}}_{\mathrm{A}}\left(G,{\mathbf{I}}_{{\mathrm{y}}_g},{\mathbf{y}}_r\right)+{\mathcal{L}}_{\mathrm{A}}\left(G,{\mathbf{I}}_{{\mathrm{y}}_r},{\mathbf{y}}_g\right)\right)+{\lambda }_{\mathrm{i}\mathrm{d}\mathrm{t}}{\mathcal{L}}_{\mathrm{i}\mathrm{d}\mathrm{t}}\left(G,{\mathbf{I}}_{{\mathrm{y}}_r},{\mathbf{y}}_r,{\mathbf{y}}_g\right)\end{array}$

实验

作者通过控制之改变单一的AU变量，通过设置四种不同的激活参数。可以看出面部表情只有某一区域发生了改变。

通过可视化Attention image 和color image，模型会学会将注意力进行集中（颜色较暗的区域），较亮的区域从原图提取。

缺点

底部是一些失败案例。作者归纳了失败原因，认为这些很可能都是因为训练数据不足引起的。如红脸男子图所示，当模型输入极端表情时，RGB掩模没有及时调整权重，导致嘴部出现透明化。此外，如果输入图像的主体不是人类，模型的表现也会很差。