WGAN-GP 原理及实现（pytorch版）

一、WGAN-GP 原理

Wasserstein GAN with Gradient Penalty (WGAN-GP) 是对原始 WGAN 的改进，通过梯度惩罚（Gradient Penalty）替代权重裁剪（Weight Clipping），解决了 WGAN 训练不稳定、权重裁剪导致梯度消失或爆炸的问题。

---

1.1 WGAN-GP 核心原理

(1) Wasserstein 距离（Earth-Mover 距离）

• 原始 GAN 的 JS 散度在分布不重叠时梯度消失，而 WGAN 使用 Wasserstein 距离衡量生成分布 $P_g$ 和真实分布 $P_r$ 的距离：
  $W(P_r,P_g)={\inf }_{\gamma \sim \Pi (P_r,P_g)}{\mathbb{E}}_{(x,y)\sim \gamma }[\Vert x-y\Vert ]$
• 通过 Kantorovich-Rubinstein 对偶形式，转化为：
  $W(P_r,P_g)={\sup }_{\Vert D{\Vert }_L\le 1}{\mathbb{E}}_{x\sim P_r}[D(x)]-{\mathbb{E}}_{z\sim P_z}[D(G(z))]$，其中 $D$ 是 1-Lipschitz 函数（梯度范数不超过 1）

(2) 梯度惩罚（Gradient Penalty）

• 原始 WGAN 的问题：通过权重裁剪强制判别器（Critic）满足 Lipschitz 约束，但会导致梯度不稳定或容量下降
• WGAN-GP 的改进：直接对判别器的梯度施加惩罚项，强制其梯度范数接近 1：$\lambda \cdot {\mathbb{E}}_{\hat{x}\sim P_{\hat{x}}}$