【李宏毅2021机器学习深度学习】6-2 生成式对抗网络GAN2——理论介绍篇WGAN

文章目录

    • 我们的目标:让生成的分布Pg = Pdata
      • 怎么计算两个分布的差异?(只需要采样足够,剩下的交给Discriminator,详细证明参考14年作者论文)
      • 进行替换,求得最终目标函数
      • 想要什么分布,就设计 不同的优化函数,详见这篇文章
    • GAN难train,GAN的训练小技巧
      • 难训练的原因:Pg和Pdata的分布不重叠
        • 不重叠JS分布的值总是等于log2,难以判断生成器是否在训练好
      • 换种方式衡量 两个分布 的差异?
      • 眼睛的进化史
      • 计算Wassersteion distance对于Generator来说(直接给出了,而且D(Discriminator) 要足够平滑)
        • 怎么确保D是平滑的?(Spectral Normalization)

我们的目标:让生成的分布Pg = Pdata

【李宏毅2021机器学习深度学习】6-2 生成式对抗网络GAN2——理论介绍篇WGAN_第1张图片

怎么计算两个分布的差异?(只需要采样足够,剩下的交给Discriminator,详细证明参考14年作者论文)

【李宏毅2021机器学习深度学习】6-2 生成式对抗网络GAN2——理论介绍篇WGAN_第2张图片
【李宏毅2021机器学习深度学习】6-2 生成式对抗网络GAN2——理论介绍篇WGAN_第3张图片

进行替换,求得最终目标函数

【李宏毅2021机器学习深度学习】6-2 生成式对抗网络GAN2——理论介绍篇WGAN_第4张图片
【李宏毅2021机器学习深度学习】6-2 生成式对抗网络GAN2——理论介绍篇WGAN_第5张图片
【李宏毅2021机器学习深度学习】6-2 生成式对抗网络GAN2——理论介绍篇WGAN_第6张图片

想要什么分布,就设计 不同的优化函数,详见这篇文章

【李宏毅2021机器学习深度学习】6-2 生成式对抗网络GAN2——理论介绍篇WGAN_第7张图片

GAN难train,GAN的训练小技巧

难训练的原因:Pg和Pdata的分布不重叠

【李宏毅2021机器学习深度学习】6-2 生成式对抗网络GAN2——理论介绍篇WGAN_第8张图片

不重叠JS分布的值总是等于log2,难以判断生成器是否在训练好

【李宏毅2021机器学习深度学习】6-2 生成式对抗网络GAN2——理论介绍篇WGAN_第9张图片

换种方式衡量 两个分布 的差异?

【李宏毅2021机器学习深度学习】6-2 生成式对抗网络GAN2——理论介绍篇WGAN_第10张图片

穷举所有铲土的方式 才能计算 Wasserstein distance
【李宏毅2021机器学习深度学习】6-2 生成式对抗网络GAN2——理论介绍篇WGAN_第11张图片
假设 能计算W,Discriminator就能工作

眼睛的进化史

【李宏毅2021机器学习深度学习】6-2 生成式对抗网络GAN2——理论介绍篇WGAN_第12张图片

计算Wassersteion distance对于Generator来说(直接给出了,而且D(Discriminator) 要足够平滑)

【李宏毅2021机器学习深度学习】6-2 生成式对抗网络GAN2——理论介绍篇WGAN_第13张图片

怎么确保D是平滑的?(Spectral Normalization)

【李宏毅2021机器学习深度学习】6-2 生成式对抗网络GAN2——理论介绍篇WGAN_第14张图片

你可能感兴趣的:(深度学习_李宏毅,深度学习,机器学习,网络)