【学习笔记】Wasserstein GAN

原始GAN的问题

判别器越好，生成器梯度消失越严重。

当判别器为最优时，最佳生成器的损失函数为
$$2JS\left(P_r\Vert P_g\right)-2\log 2$$
即当判别器为最优时，最小化真实分布$P_r$与生成分布$P_g$之间的JS散度，可以得到最优的生成器。当真实分布$P_r$与生成分布 $P_g$有重叠部分时，最小化其JS散度可以拉近这二个分布。但当真实分布$P_r$与生成分布$P_g$没有重叠部分时，最佳的JS散度固定为$\log 2$。此时，不管真实分布$P_r$与生成分布$P_g$相距多远，只要没有重叠部分，JS散度就固定是常数$\log 2$，生成器梯度为0，导致梯度消失的问题。

在（近似）最优判别器下，最小化生成器的loss等价于最小化真实分布$P_r$与生成分布 $P_g$之间的JS散度，而由于$P_r$与$P_g$几乎不可能有不可忽略的重叠，所以无论它们相距多远JS散度都是常数$\log 2$，最终导致生成器的梯度（近似）为0，梯度消失。

梯度不稳定

生成器损失函数为${\mathbb{E}}_{x\sim P_g}[-\log D(x)]$
在最优判别器$D^{\ast }$下，
$${\mathbb{E}}_{x\sim P_a}\left[-\log D^{\ast }(x)\right]=KL\left(P_g\Vert P_r\right)-2JS\left(P_r\Vert P_g\right)+2\log 2+{\mathbb{E}}_{x\sim P_r}\left[\log D^{\ast }(x)\right]$$
所以最小化生成器的损失函数等价于最小化$KL\left(P_g\Vert P_r\right)-2JS\left(P_r\Vert P_g\right)$
由于$KL\left(P_g\Vert P_r\right)$与$JS\left(P_r\Vert P_g\right)$在最小化时矛盾，导致训练时梯度不稳定。

collapse mode，多样性不足

由于KL散度是不对称的衡量，即$KL\left(P_g\Vert P_r\right)$ 与 $KL\left(P_r\Vert P_g\right)$存在差别。

• 当 $P_g(x)\to 0$ 而 $P_r(x)\to 1$ 时， $P_g(x)\log \frac{P_g(x)}{P_r(x)}\to 0$ ，对 $KL\left(P_g\Vert P_r\right)$ 贡献趋近 0。即生成器没能生成真实的样本，但惩罚很小。
• 当 $P_g(x)\to 1$ 而 $P_r(x)\to 0$ 时， $P_g(x)\log \frac{P_g(x)}{P_r(x)}\to +\infty$ ，对 $KL\left(P_g\Vert P_r\right)$ 贡献趋近正无穷。生成器生成了不真实的样本，惩罚很大。

这导致生成器趋向于生成重复的接近真实的样本，避免产生错误，造成样本多样性不足的情况。

Wasserstein距离

Wasserstein距离的定义为：
$$W\left(P_r,P_g\right)=\underset{\gamma \sim \Pi \left(P_r,P_g\right)}{\inf }{\mathbb{E}}_{(x,y)\sim \gamma }[\Vert x-y\Vert ]$$
$\Pi \left(P_r,P_g\right)$ 是 $P_r$ 和 $P_g$ 组合起来的所有可能的联合分布的集合。
Wasserstein距离相比KL散度、JS散度的优越性在于，即便两个分布没有重叠，Wasserstein距离仍然能够反映它们的远近。

Lipschitz连续指的是存在一个常数 $K>0$ 使得定义域内的任意两个元素 $x_1$ 和 $x_2$ 都满足
$$\left|f\left(x_1\right)-f\left(x_2\right)\right|\le K\left|x_1-x_2\right|$$
等价于$f$的导函数绝对值不超过$K$。

由于Wasserstein距离的式子无法直接求解，可以变换成
$$W\left(P_r,P_g\right)=\frac{1}{K}\underset{\Vert f{\Vert }_L\le K}{\sup }{\mathbb{E}}_{x\sim P_r}[f(x)]-{\mathbb{E}}_{x\sim P_g}[f(x)]$$
其中，$\Vert f{\Vert }_L$表示函数 $f$ 的Lipschitz常数。上式又可近似为
$$K\cdot W\left(P_r,P_g\right)\approx \underset{w:{|f_w|}_L\le K}{\max }{\mathbb{E}}_{x\sim P_r}\left[f_w(x)\right]-{\mathbb{E}}_{x\sim P_g}\left[f_w(x)\right]$$

可以用神经网络来拟合$f_w$。我们可以构造一个含参数$w$、最后一层不是非线性激活层的判别器网络$f_w$，在限制$w$不超过某个范围的条件下，
$$L={\mathbb{E}}_{x\sim P_r}\left[f_w(x)\right]-{\mathbb{E}}_{x\sim P_g}\left[f_w(x)\right]$$
$L$就是近似真实分布与生成分布之间的Wasserstein距离。

判别器 $f_w$ 做的是近似拟合Wasserstein距离，属于回归任务，要去掉最后一层的Sigmoid函数。判别器要做的是令Wasserstein距离尽可能最大，所以损失函数为${\mathbb{E}}_{x\sim P_g}\left[f_w(x)\right]-{\mathbb{E}}_{x\sim P_r}\left[f_w(x)\right]$

而生成器的损失函数则为$-{\mathbb{E}}_{x\sim P_g}\left[f_w(x)\right]$

Wasserstein GAN对原始GAN的改动

• 去掉判别器最后一层的Sigmoid
• 生成器和判别器的损失函数不取log
• 每次更新判别器的参数之后把它们的绝对值进行截断
• 不要用基于动量的优化算法（包括momentum和Adam），推荐RMSProp和SGD