深度学习之生成对抗网络（7）WGAN原理

 WGAN算法从理论层面分析了GAN训练不稳定的原因，并提出了有效的解决方法。那么是什么原因导致了GAN训练如此不稳定呢？WGAN提出是因为JS散度在不重叠的分布 $p$和 $q$上的梯度曲面是恒定为0的。如下图所示。当分布p和q不重叠时，JS散度的梯度值始终为0，从而导致此时GAN的训练出现梯度弥散现象，参数长时间得不到更新，网络无法收敛。

图1. JS散度出现梯度弥散现象

 接下来我们将详细阐述JS散度的缺陷以及怎么解决此缺陷。

1. JS散度的缺陷

为了避免过多的理论推导，我们这里通过一个简单的分布实例来解释JS散度的缺陷。
考虑完全不重叠（$\theta \ne 0$）的两个分布$p$和$q$，其中$p$为：
$$\forall (x,y)\in p,x=0,y\sim \text{U}(0,1)$$
分布$q$为：
$$\forall (x,y)\in q,x=\theta ,y\sim \text{U}(0,1)$$
其中$\theta \in R$，当$\theta =0$时，分布$p$和$q$重叠，两者相等；当$\theta \ne 0$时，分布$p$和$q$不重叠。

图2. 分布$p$和$q$示意图

 我们来分析上述分布$p$和$q$之间的JS散度随$\theta$的变化情况。根据KL散度与JS散度的定义，计算$\theta =0$时的JS散度$D_{JS}(p||q)$：
$$D_{KL}(p||q)=\sum _{x=0,y\sim \text{U}(0,1)}1\cdot \text{log}\frac{1}{0}=+\infty$$
$$D_{KL}(q||p)=\sum _{x=\theta ,y\sim \text{U}(0,1)}1\cdot \text{log}\frac{1}{0}=+\infty$$
$$D_{JS}(p||q)=\frac{1}{2}(\sum _{x=0,y\sim \text{U}(0,1)}1\cdot \text{log}\frac{1}{1/2}+\sum _{x=0,y\sim \text{U}(0,1)}1\cdot \text{log}\frac{1}{1/2})=\text{log}2$$
 当$\theta =0$时，两个分布完全重叠，此时的JS散度和KL散度都取得最小值，即0：
$$D_{KL}(p||q)=D_{KL}(q||p)=D_{JS}(p||q)=0$$
从上面的推导，我们可以得到$D_{JS}(p||q)$随$\theta$的变化趋势：
$$D_{JS}(p||q)=\{\begin{array}{ll}\text{log⁡}2& \theta \ne 0\\ 0& \theta =0\end{array}$$
也就是说，当两个分布完全不重叠时，无论发布之间的距离远近，JS散度为恒定值$\text{log}2$，此时JS散度将无法产生有效的梯度信息；当两个分布出现重叠时，JS散度采会平滑变动，产生有效梯度信息；当完全重合后，JS散度取得最小值0.如下图所示，红色的曲线分割两个正态分布，由于两个分布没有重叠，生成样本位置处的梯度值始终为0，无法更新生成网络的参数，从而出现网络训练困难的现象。

图3. JS散度出现梯度弥散现象

 因此，JS散度在分布$p$和$q$不重叠时是无法平滑地衡量分布之间的距离，从而导致此位置上无法产生有效梯度信息，出现GAN训练不稳定的情况。要解决此问题，需要使用一种更好的分布距离衡量标准，使得它即使在分布$p$和$q$不重叠时，也能平滑反映分布之间的真实距离变化。

2. EM距离

 WGAN论文发现了JS散度导致GAN训练不稳定的问题，并引入了一种新的分布距离度量方法：Wasserstein距离，也叫推土机距离（Earth-Mover Distance，简称EM距离），它表示了从一个分布变换到另一个分布的最小代价，定义为：
$$W(p,q)=\underset{\gamma \sim \prod (p,q)}{\inf }{\mathbb{E}}_{(x,y)\sim \gamma }[\Vert x-y\Vert ]$$
其中$\prod (p,q)$是分布$p$和$q$组合起来的所有可能的联合分布的集合，对于每个可能的联合分布$\gamma \sim \prod (p,q)$，计算距离$\Vert x-y\Vert$的期望${\mathbb{E}}_{(x,y)\sim \gamma }[\Vert x-y\Vert ]$，其中$(x,y)$采样自联合分布$\gamma$。不同的联合分布$\gamma$由不同的期望${\mathbb{E}}_{(x,y)\sim \gamma }[\Vert x-y\Vert ]$，这些期望中的下确界即定义为分布$p$和$q$的Wasserstein距离。其中$\text{inf}\{\cdot \}$表示集合的下确界，例如$\{x|1<x<3,x\in R\}$的下确界为1。

 继续考虑图2中的例子，我们直接给出分布$p$和$q$之间的EM距离的表达式：
$$W(p,q)=|\theta |$$
绘制出JS散度和EM距离的曲线，如下图所示，可以看到，JS散度在$\theta =0$处不连续，其他位置导数均为0，而EM距离总能够产生有效的导数信息，因此EM距离相对于JS散度更适合直到GAN网络的训练。

图4. JS散度和EM距离随$θ$变换曲线

3. WGAN-GP

 考虑到几乎不可能遍历所有的联合分布$\gamma$去计算距离$\Vert x-y\Vert$的期望${\mathbb{E}}_{(x,y)\sim \gamma }[\Vert x-y\Vert ]$，因此直接计算生成网络分布$p_g$与真实数据数据分布$p_r$的距离$W(p_r,p_g)$距离是不现实的，WGAN作者基于Kantorchovich-Rubin对偶性将直接求$W(p_r,p_g)$转换为求：
$$W(p_r,p_g)=\frac{1}{K}\underset{\Vert f{\Vert }_L\le K}{\sup }{\mathbb{E}}_{x\sim p_r}[f(x)]-{\mathbb{E}}_{x\sim p_g}[f(x)]$$
其中$\text{sup}\{\cdot \}$表示集合的上确界，$\Vert f{\Vert }_L\le K$表示函数$f:R\to R$满足K阶-Lipschitz连续性，即满足
$$|f(x_1)-f(x_2)|\le K\cdot |x_1-x_2|$$
 于是，我们使用判别网络$D_{\theta }(\mathbf{x})$参数化$f(\mathbf{x})$函数，在$D_{\theta }$满足1阶-Lipschitz约束条件下，即$K=1$，此时：
$$W(p_r,p_g)=\frac{1}{K}\underset{\Vert D_{\theta }{\Vert }_L\le K}{\sup }{\mathbb{E}}_{x\sim p_r}[D_{\theta }(\mathbf{x})]-{\mathbb{E}}_{x\sim p_g}[D_{\theta }(\mathbf{x})]$$
因此求解$W(p_r,p_g)$的问题可以转化为：
$$\underset{\theta }{\text{max}}{\mathbb{E}}_{x\sim p_r}[D_{\theta }(\mathbf{x})]-{\mathbb{E}}_{x\sim p_g}[D_{\theta }(\mathbf{x})]$$
这就是判别器D的优化目标。判别网络函数D_θ (x)需要满足1阶-Lipschitz约束：
$${\nabla }_{\hat{\mathbf{x}}}D(\hat{\mathbf{x}})\le 1$$
 在WGAN-GP论文中，作者提出采用增加梯度惩罚项（Gradient Penalty）方法来迫使判别网络满足1阶-Lipschitz函数约束，同时作者发现将梯度值约束在1周围时工程效果更好，因此梯度惩罚项定义为：
$$GP\triangleq {\mathbb{E}}_{\hat{\mathbf{x}}\sim P_{\hat{\mathbf{x}}}}[(\Vert {\nabla }_{\hat{\mathbf{x}}}D(\hat{\mathbf{x}}){\Vert }_2-1{)}^2]$$
因此WGAN的判别器D的训练目标为：
$$\underset{\theta }{\max }\mathcal{L}(G,D)=\underset{EM距离}{{\mathbb{E}}_{{\mathbf{x}}_r\sim p_r}[D({\mathbf{x}}_r)]-E_{{\mathbf{x}}_f\sim p_g}[D({\mathbf{x}}_f)]}-\underset{GP惩罚项}{\lambda {\mathbb{E}}_{\hat{\mathbf{x}}\sim P_{\hat{\mathbf{x}}}}[(\Vert {\nabla }_{\hat{\mathbf{x}}}D(\hat{\mathbf{x}}){\Vert }_2-1{)}^2]}$$
其中$\hat{\mathbf{x}}$来自于${\mathbf{x}}_r$与${\mathbf{x}}_f$的线性差值：
$$\hat{\mathbf{x}}=t{\mathbf{x}}_r+(1-t){\mathbf{x}}_f,t\in [0,1]$$
判别器D的优化目标是最小化上述的误差$\mathcal{L}(G,D)$，即迫使生成器G的分布$p_g$与真实分布$p_r$之间的EM距离${\mathbb{E}}_{{\mathbf{x}}_r\sim p_r}[D({\mathbf{x}}_r)]-E_{{\mathbf{x}}_f\sim p_g}[D({\mathbf{x}}_f)]$项尽可能大，$\Vert {\nabla }_{\hat{\mathbf{x}}}D(\hat{\mathbf{x}}){\Vert }_2$逼近于1。

 WGAN的生成器G的训练目标为：
$$\underset{\theta }{\max }\mathcal{L}(G,D)=\underset{EM距离}{{\mathbb{E}}_{{\mathbf{x}}_r\sim p_r}[D({\mathbf{x}}_r)]-E_{{\mathbf{x}}_f\sim p_g}[D({\mathbf{x}}_f)]}$$
即使得生成器的分布$p_g$与真实分布$p_r$之间的EM距离越小越好。考虑到${\mathbb{E}}_{{\mathbf{x}}_r\sim p_r}[D({\mathbf{x}}_r)]$一项与生成器无关，因此生成器的训练目标简写为：
$$\begin{array}{rl}\underset{\theta }{\max }\mathcal{L}(G,D)& =-E_{{\mathbf{x}}_f\sim p_g}[D({\mathbf{x}}_f)]\\ & =-E_{\mathbf{z}\sim p_{\mathbf{z}}(\cdot )}[D(G(\mathbf{z}))]\end{array}$$
 从现实来看，判别网络D的输出不需要添加Sigmoid激活函数，这是因为原始版本的判别器的功能是作为二分类网络，添加Sigmoid函数获得类别的概率；而WGAN中判别器作为EM距离的度量网络，其目标是衡量生成网络的分布$p_g$和真实分布$p_r$之间的EM距离，属于实数空间，因此不需要添加Sigmoid激活函数。在误差函数计算时，WGAN也没有$\text{log}$函数存在。在训练WGAN时，WGAN作者推荐使用RMSProp或SGD等不带动量的优化器。

 WGAN从理论层面发现了原始GAN容易出现训练不稳定的原因，并给出了一种新的距离度量标准和工程实现解决方案，取得了较好的效果。WGAN还在一定程度上缓解了模式崩塌的问题，使用WGAN的模型不容易出现模式崩塌的现象。需要注意的是，WGAN一般并不能提升模型的生成效果，仅仅是保证了模型训练的稳定性。当然，保证模型能够稳定地训练也是取得良好效果的前提。如图5所示，原始版本的DCGAN在不使用BN层等设定时出现了训练不稳定的现象，在同样设定下，使用WGAN来训练判别器可以避免此现象，如图6所示。

图5. 不带BN层的DCGAN生成器效果
图6. 不带BN层的WGAN生成效果