李宏毅GAN学习(六)tips for improving GAN

GAN不好训练的原因:只要两个分布没有重合部分,loss都一样,也就没有办法一步一步去接近真实分布

李宏毅GAN学习(六)tips for improving GAN_第1张图片

李宏毅GAN学习(六)tips for improving GAN_第2张图片

如果最后的判别器是一个sigmoid的二分类网络,并且已经训练好了,由于sigmoid两边的梯度很小,所以生成器就没有办法得到有效的学习。LSGAN(Least Square GAN)来解决这个问题

李宏毅GAN学习(六)tips for improving GAN_第3张图片

由于JS散度会有不好训练的情况,而且fGAN中指出可以用不同的散度来度量两个分布之间的差异,WGAN(Wasserstein GAN)采用的是Earth Mover’s Distence 来衡量两个分布之间的差异

李宏毅GAN学习(六)tips for improving GAN_第4张图片

李宏毅GAN学习(六)tips for improving GAN_第5张图片

李宏毅GAN学习(六)tips for improving GAN_第6张图片

李宏毅GAN学习(六)tips for improving GAN_第7张图片

Earth Mover’s Distence的实际计算方法

李宏毅GAN学习(六)tips for improving GAN_第8张图片

李宏毅GAN学习(六)tips for improving GAN_第9张图片

原始的WGAN让判别器平滑的操作方法:

李宏毅GAN学习(六)tips for improving GAN_第10张图片

改进以后的方法:improved WGAN(WGAN-GP)

李宏毅GAN学习(六)tips for improving GAN_第11张图片

李宏毅GAN学习(六)tips for improving GAN_第12张图片

从原始GAN到WGAN:

李宏毅GAN学习(六)tips for improving GAN_第13张图片

李宏毅GAN学习(六)tips for improving GAN_第14张图片

你可能感兴趣的:(GAN)