比 WGAN 更好的 WGAN-GP

        训练不稳定是GAN常见的一个问题。虽然WGAN在稳定训练方面有了比较好的进步，但是也有缺点：

1）有时候也只能生成较差的样本，并且有时候也比较难收敛；

2）Critic 网络深的时候也容易出现梯度消失和梯度爆炸的情况。

        原因在于：WGAN采用了权重修剪（weight clipping）策略来强行满足critic上的Lipschitz（利普希茨）连续的约束（“Lipschitz 连续”，意思就是定义域内每点的梯度恒定不超过某个常数（常数是多少无所谓，不是无穷就行）。

        WGAN-GP 提出了另一种截断修剪的策略-gradient penalty，即惩罚critic相对于其输入（由随机噪声z生成的图片，即fake image）的梯度的 norm。（注意：GAN之前的D网络都叫discriminator，但是由于这里不是做分类任务，WGAN作者觉得叫 discriminator不太合适，于是将其叫为 critic）

        WGAN-GP的目标函数如下所示：

       

        目标函数相比 WGAN 增加了一个正则项，其他部分都和WGAN一样。 这个正则项就是WGAN-GP中GP（gradient penalty），即梯度约束。这个约束的意思是：critic 相对于原始输入的梯度的 L2 范数要约束在1附近（双边约束）（原文作者给了一个命题：在最优的优化路径上（把生成分布推向真实分布的“道路”上），critic函数对其输入的梯度值恒定为1） 

        WGAN-GP 不同于 WGAN 的主要有几处：

1）用gradient penalty取代weight clipping；

2）critic 的输入是生成样本和真实样本的线性插值；

3）优化器用 Adam 取代 RMSProp。

        需要注意的是：这个GP的引入，跟一般GAN、WGAN中通常需要加的Batch Normalization会起冲突。因为这个GP要求critic的一个输入对应一个输出，但是BN会将一个批次中的样本进行归一化，BN是一批输入对应一批输出，因而用BN后无法正确求出critic对于每个输入样本的梯度。

参考博文： WGAN-GP方法介绍 - 知乎