【学习笔记】GAN前沿主题

最小-最大（Min-Max）GAN
非饱和（Non-Saturating）GAN
沃瑟斯坦（Wasserstein）GAN，即WGAN
所有的生成模型最终来源于最大似然（maximum likelihood），至少隐式地是这样的。
GAN有两个相互竞争的损失函数，这样的系统没有单一的解析解。
最大似然近似容易过度泛化。
用于统计评估生成模型质量的两个最常用且公认的度量标准：Inception Score（IS）和Frechet Inception Distance（FID）。

训练存在的挑战

（1）模式崩溃
（2）收敛速度慢
（3）过度泛化

改善训练过程的技术

（1）增加网络深度。
（2）更改网络设置。
· 原始论文提出的最小-最大（Min-Max）设计和停止判则。（博弈论）
· 原始论文提出的非饱和（Non-Saturating）设计和停止判则。（启发性）
· 最近的改进——沃瑟斯坦生成对抗网络（Wasserstein GAN）。
（3）其他一些的训练技巧
· 归一化输入。
· 梯度惩罚。
· 多训练鉴别器。
· 避免稀疏梯度。 ·
· 使用平滑和带噪声的标签。

渐进式增长生成对抗网络（PGGAN)