GAN网络的模型坍塌和不稳定的分析

众所周知,GAN异常强大,同时也非常难以训练。主要有以下亮点原因:

  • 模型坍塌(mode collapse)
  • 难以收敛和训练不稳定(convergence and instability)
    GAN网络的一般表达式可以表示为:
    利用minmax获得公式1
    原始公式
    给定G,求D的最优化2
    损失函数
    针对D进行求导:
    gan3
    获取最优解:
    GAN网络的模型坍塌和不稳定的分析_第1张图片
    最优解结果:
    D最优解
    GAN网络的模型坍塌和不稳定的分析_第2张图片
    KL和JS散度表达式:
    GAN网络的模型坍塌和不稳定的分析_第3张图片
    GAN表达式:
    GAN网络的模型坍塌和不稳定的分析_第4张图片
    增加一项,表示生成网络G的损失函数:
    G
    简化:
    GAN网络的模型坍塌和不稳定的分析_第5张图片
    结合公式(6)和公式(8)可以得出:
    GAN网络的模型坍塌和不稳定的分析_第6张图片
    公式(12)中的KL散度使得两个分布尽可能的小,而JS的负号使得两个分布近可能的大。
    两种情况:
    GAN网络的模型坍塌和不稳定的分析_第7张图片
    第一种情况,生成了不真实的样本,惩罚很大;第二种情况,未能产生真实的样本,惩罚很小。第一种生成的样本不准确,第二种生成的样本不够多样。基于这个原理,G 倾向于生成重复但是安全的样本,而不愿意冒险生成不同但不安全的样本,这会导致模式坍塌(mode collapse)问题。
    当然很有可能出现两个分布不相关的情况3,这种情况就会导致称为一个常数,也就出现了梯度消失的情况。 所以判别器训练得太好,生成器梯度消失,生成器loss降不下去;判别器训练得不好,生成器梯度不准,四处乱跑。只有判别器训练得不好不坏才行,但是这个火候又很难把握。
    对于另外一种G网络的表现形式,可以总结为:D表现越好,G的梯度消失越严重。

  1. Generative Adversarial Networks (GANs): Challenges, Solutions, and Future Directions ↩︎

  2. A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications ↩︎

  3. 令人拍案叫绝的Wasserstein GAN/https://zhuanlan.zhihu.com/p/25071913 ↩︎

你可能感兴趣的:(GAN,深度学习,GAN)