深度生成模型之GAN基础 ->(个人学习记录笔记)

文章目录

  • 深度生成模型之GAN基础
    • 生成对抗网络
      • 1. 生成对抗网络如何生成数据
      • 2. 生成对抗原理
      • 3. GAN的核心优化目标
      • 4. D的优化
      • 5. GAN的理想状态
      • 6. GAN的训练
      • 7. 梯度不稳定与模式崩塌(collapse mode)问题
      • 8. 梯度消失问题

深度生成模型之GAN基础

生成对抗网络

1. 生成对抗网络如何生成数据

  • 生成对抗网络(Generative Adversarial Network,GAN),不显式地估计出数据分布的密度函数,但能生成符合数据分布P_data(x)的样本

深度生成模型之GAN基础 ->(个人学习记录笔记)_第1张图片

2. 生成对抗原理

  • 生成网络和判别网络相互对抗(adversarial),共同学习

深度生成模型之GAN基础 ->(个人学习记录笔记)_第2张图片

3. GAN的核心优化目标

  • 生成器损失与判别器损失

深度生成模型之GAN基础 ->(个人学习记录笔记)_第3张图片

4. D的优化

  • 判别器的优化目标

深度生成模型之GAN基础 ->(个人学习记录笔记)_第4张图片

  • 生成器优化目标

深度生成模型之GAN基础 ->(个人学习记录笔记)_第5张图片

5. GAN的理想状态

  • 约翰-纳什提出的纳什均衡(Nash equilibrium)

6. GAN的训练

  • SGD交替优化,先更新k次判别器,保证判别网络足够强,再更新生成网络

深度生成模型之GAN基础 ->(个人学习记录笔记)_第6张图片

7. 梯度不稳定与模式崩塌(collapse mode)问题

  • 矛盾与不对称的优化目标

8. 梯度消失问题

  • 过大过小的激活值,梯度进入消失区

深度生成模型之GAN基础 ->(个人学习记录笔记)_第7张图片

  • 部分内容来自阿里云天池

你可能感兴趣的:(机器学习,生成对抗网络,学习,笔记)