P59 生成式对抗网络GAN-理论介绍 Theory behind GAN

Object

Normal Distribution 的数据 经过 Generator 后生成分布更加复杂的PG.
真实数据的分布为 Pdata , 希望 PG和Pdata 越近越好
LOSS 是 两者之间的分布距离
P59 生成式对抗网络GAN-理论介绍 Theory behind GAN_第1张图片
问题: 如何计算 divergence?

Sampling is goog enough

P59 生成式对抗网络GAN-理论介绍 Theory behind GAN_第2张图片

Discriminator

希望V越大越好
y~Pdata 代表从 Pdata里面采样y
当做二分类, 损失函数等价于 minimize cross entropy
max V 与 JS divergence 相关
P59 生成式对抗网络GAN-理论介绍 Theory behind GAN_第3张图片
P59 生成式对抗网络GAN-理论介绍 Theory behind GAN_第4张图片

  • 目标函数小结

MAX V 与 divergence 有关,替换

你可能感兴趣的:(李宏毅机器学习课程学习笔记,生成对抗网络,人工智能,神经网络)