2）WGAN-GP是在WGAN的基础上改进的，WGAN在保证Lipschitz限制条件时，作者是采用将限制判别器神经网络的所有参数（这里指权重w）不超过某个范围[-c,c]。

转：https://blog.csdn.net/Gavinmiaoc/article/details/79947877最近试着玩了多种GAN，今天我们主要总结下常用的GAN包括DCGAN,WGAN,WGAN-GP

WGAN、LSGAN、WGAN-GP都是在GAN的损失函数上采取改进，将衡量真实和生成样本的分布的JS距离换为更加优越的衡量标准。

本文对GAN原理介绍，以及与其他几种改进的GAN，主要介绍两种改进GAN（为什么只有两种呢，因为最近只详细的看了这两个，来做点笔记（错了就帮忙指出一哈----我是一个小白））目录一、GAN二、WGAN-GP

前言近期对GAN做了些了解，目前GAN除了DCGAN，还有WGAN,WGAN-GP,LSGAN,EBGAN,BEGAN这些，简单了解了下，大多数涉及到数学的，我都没看懂，WGAN从很理论的角度提出了一些改进

一、WGAN概述WGAN论文地址：https://arxiv.org/abs/1701.07875在这篇论文中，作者研究了不同的测量方法，来描述模型生成样本和证实样本之间分布差距，或者说，不同的散度定义，在对比之后，认为EM是比较适用于GAN的，然后对EM定义了优化方法，文章重点如下：第二节，用综合利理论分析，对比了EM（EarthMover）距离，与之前流行的概率距离（log(p)形式）的表现。

EBGAN)对比细节：转自https://blog.csdn.net/qq_25737169/article/details/78857788在此篇文章中，主要总结了常用的GAN包括DCGAN,WGAN,WGAN-GP

利用WGAN-GP以1中生成的模糊核作为训练样本训练，扩充模糊核。利用1和2种生成的模糊核，模糊真实图像生成超分网络的训练数据集。

我们在用神经网络求解PDE时，经常要用到输出值对输入变量（不是Weights和Biases）求导；在训练WGAN-GP时，也会用到网络对输入变量的求导。

torch.nn.parallel.DistributedDataParallel()（DDP）方法，但是在一些特殊的情况下这样的方法就使用不了了，特别是在进行与GAN相关的训练的时候，假如使用的损失函数是WGAN-GP

项目地址：https://github.com/igul222/improved_wgan_training用的是gan_64x64.py。问题1NameError:name'xrange'isnotdefined解决方法：把所有xrange改为range就行。问题2TensorflowTypeError:Valuepassedtoparameter'shape'hasDataTypefloat3

前言近年来生成对抗网络在各大顶会上大放异彩，但是大多研究集中在图像方面，衍生出一系列DCGAN、WGAN等等模型，最近我在关于手语识别的研究中遇到数据量及数据种类过少的问题，故想到使用GAN来生成手语数据，达到以假乱真的效果。除了这个方面外，GAN在这些信号的生成的研究对于医疗方面受损信号的恢复、意图生成特定的属性的信号方面也具有重要的意义。学习路线（选读）在研究中我走了许多弯路、耗费了大量的时间

目录一生成式对抗网络基础1生成式对抗网络的概念1）网络属于无监督学习2）网络中判别器D与生成器G的相互博弈，其纳什均衡为D(G(Z))=0.53）网络的训练阶段分为两个阶段2生成式对抗网络的优缺点1）优点2）缺点3生成式对抗网络的损失函数1）判别器D损失函数（使用交叉熵损失函数）2）生成器G损失函数（使用交叉熵损失函数）3）将判别器D和生成器G损失函数结合（极大极小算法：一方优势最大，另一方优势最

前言从GAN到WGAN，我们通过使用新的距离（推土机距离）来衡量PgP_gPg和PrP_rPr的到底有多接近，并且使用了权重裁剪来使得我们的生成器满足约束，但是作者也在论文中提到了这是一种暴力的手段，在现实的实验过程中，我们也发现Critic的权重会逐渐向裁剪因子靠拢，出现两极化的现象（如下图c=0.01），然而本身ccc的取值很难有一个界定，我们必须不断地调节这个参数来寻找使得网络收敛到最佳，这

一、WGAN的分析从我们WGAN的实现结果来看，WGAN可以很好的生成图像。因此，我们来分析一下W距离和生成图像之间的关系。理论上距离越近，图像生成质量越高。就说明WGAN的效果很好。在WGAN的论文式样中对三种架构进行了实验。第一种是生成器采用普通的感知机。第二组是生成器采用标准的DCGAN。第三组是生成器和判别器都采用MLP。实验结果如下图：从第一和第二组实验中可以看出，随着W的距离降低图像的

GAN生成对抗网络（GAN,GenerativeAdversarialNetworks）相比于CNN与RNN是一项比较新的技术，由IanJ.GoodFellow于2014年提出，随后不断发展，目前已经广泛用于图像生成、图像合成与图像增强领域。GAN创新性地将机器学习中的生成模型与判别模型结合了起来，其目的从数学的角度来讲是训练得到的生成器能够通过输入随机的噪声生成符合指定分布的数据，例如图像数据，

1原始GAN存在问题实际训练中，GAN存在着训练困难、生成器和判别器的loss无法指示训练进程、生成样本缺乏多样性等问题。这与GAN的机制有关。GAN最终达到对抗的纳什均衡只是一个理想状态，而现实情况中得到的结果都是中间状态（伪平衡）。大部分的情况是，随着训练的次数越多判别器D的效果越好，会导致一直可以将生成器G的输出与真实样本区分开。这是因为生成器G是从低维空间向高维空间（复杂的样本空间）映射，

WassersteinGANandImprovedTrainingofWassersteinGANsPaper:WGAN:https://arxiv.org/pdf/1701.07875.pdfWGAN-GP:https://arxiv.org/pdf/1704.00028.pdf参考：https://lilianweng.github.io/lil-log/2017/08/20/from-GAN

WGANImprovedWGAN(WGAN-GP)SpectrumNormGANtoWGAN（如何将GAN的算法改

GAN及其改进算法总结GAN及其各种改进算法GAN概述原理优点和不足DCGAN概述原理优点和不足WGAN概述原理优点和不足WGAN-GP概述原理优点和不足LSGAN概述原理BEGAN概述原理优点和不足GAN

DCGAN、WGAN、WGAN-GP、LSGAN、BEGAN原理总结及对比from：https://blog.csdn.net/qq_25737169/article/details/78857788GAN

GAN的评估指标尽管可用的GAN模型非常多，但对它们的评估仍然主要是定性评估，通常需要借助人工检验生成图像的视觉保真度来进行。此类评估非常耗时，且主观性较强、具备一定误导性。鉴于定性评估的内在缺陷，恰当的定量评估指标对于GAN的发展和更好模型的设计至关重要。论文：《Anempiricalstudyonevaluationmetricsofgenerativeadversarialnetworks》

一、WGAN-GP的理论基础1、GAN生成对抗网络是2014年由IanGoodfellow首先提出，主要用于生成类的任务。目前在超分辨率重建、图片修复等方面运用火热。

http://www.twistedwg.com/2018/02/02/WGAN-GP.htmlWGAN是一篇好文章，但是在处理Lipschitz条件时直接把weight限制住也带来了一些问题，很快改进版的WGAN-GP

但是后来发现权重剪裁有许多问题，所以改进WGAN-GP，使用一种叫做梯度惩罚（gradientpenalty）方法来代替权重剪裁。

作者：刘威威编辑：李文臣本文是GAN系列学习--前世今生第二篇，在第一篇中主要介绍了GAN的原理部分，在此篇文章中，主要总结了常用的GAN包括DCGAN,WGAN,WGAN-GP,LSGAN-BEGAN

1.介绍WGAN虽然理论证明很完美，但真正的效果并没有很好，主要原因在于lipschitz连续性条件，本文所讲的WGAN-GP就是针对lipschitz连续性条件而做的改进，更加详细的内容可参见论文：ImprovedTrainingofWassersteinGANs2

“GANZOO”系列文章说明GAN成为当下研究热点，相关论文数量正在以指数趋势增长，如上图所示。为了便于大家迅速追踪研究热点，“AI微刊”团队持续推出“GANZOO”系列文章，精选典型GAN模型，对其进行精简的解析，让你“三分钟”读一篇论文。GANZOO第2节：对原始GAN的损失函数进行改进：LSGAN、WGAN、WGAN-GPPS：本文知识点高度密集，建议码起来，电脑端阅读。本文是“GANZOO

今天我们放松一下，来实现AI换脸(一看就是P站老流氓了)中常常用到的GAN、WGAN、WGAN-GP这三个模型。GANGAN（GenerativeAd

阅读本篇之前，请先阅读WassersteinGAN（小白学GAN系列三）原文链接：WGAN-GP(https://arxiv.org/abs/1704.00028)WGAN-DIV(https://arxiv.org

训练”稳定”，样本的”多样性”和”清晰度”似乎是GAN的3大指标—David9VAE与GAN聊到随机样本生成,不得不提VAE与GAN,VAE用KL-divergence和encoder-decoder的方式逼近真实分布.但这些年GAN因其”端到端”灵活性和隐式的目标函数得到广泛青睐.而且,GAN更倾向于生成清晰的图像:VAE与GAN生成对比GAN在10次Epoch后就可以生成较清晰的样本,而VAE

作者丨苏剑林单位丨广州火焰信息科技有限公司研究方向丨NLP，神经网络个人主页丨kexue.fm2017年的时候笔者曾写过互怼的艺术：从零直达WGAN-GP，从一个相对通俗的角度来介绍了WGAN，在那篇文章中

本文介绍了GAN最初被提出时的基本思想，阐述了其一步步演化、改进的动机和基本思想以及原理，从基于模型改进的角度介绍了WGAN，WGAN-GP，LSGAN，f-GAN

WGAN是GAN（对抗生成网络）的一种，在WGAN中，D的任务不再是尽力区分生成样本与真实样本，而是尽量拟合出样本间的Wasserstein距离，从分类任务转化成回归任务。而G的任务则变成了尽力缩短样本间的Wasserstein距离。故WGAN对原始GAN做出了如下改变:D的最后一层取消sigmoidD的w取值限制在[-c,c]区间内。使用RMSProp或SGD并以较低的学习率进行优化(论文作者在

IdeaofWGAN在GAN01:GAN的原理与DCGAN的Keras实现中，我们了解到，GAN的目的是使用生成器分布PG拟合数据的真实分布Pdata，在GAN的初始paper以及DCGAN的实现中，实际上计算这两者之间分布差的那个度量标准是JS-Divergence，而利用Sample的方法计算Divergence，就是上文中我们使用的BinaryCrossentropyLoss。由下图可以看出

今天看到paperweekly上有人分享了一个WGAN-GP的实现，是以MNIST为数据集，代码简洁，结构清晰。我最近也在看GAN的相关内容，就下载下来做个参考。

#https://github.com/yunjey/stargan/blob/master/solver.pydefgradient_penalty(self,y,x):"""Computegradientpenalty:(L2_norm(dy/dx)-1)**2."""weight=torch.ones(y.size()).to(self.device)dydx=torch.autograd.

help：什么是gans：https://blog.csdn.net/u010089444/article/details/78946039GANs中包含了两个模型，一个是生成模型GG，另一个是判别模型DD，下面通过一个生成图片的例子来解释两个模型的作用：生成模型GG：不断学习训练集中真实数据的概率分布，目标是将输入的随机噪声转化为可以以假乱真的图片（生成的图片与训练集中的图片越相似越好）判别模型

GAN网络的重点在于均衡生成器与判别器，若判别器太强，loss没有再下降，生成器学习不到东西，生成图像的质量便不会再有提升，反之也是。WGAN与WGAN-GPWGAN中相较于此前GAN的改进主要在于以下四点：判别器最后一层去掉sigmoid生成器和判别器的loss不取log每次更新判别器的参数之后把它们的绝对值截断到不超过一个固定常数c，即Lipschitz限制不要用基于动量的优化算法（包括mom

在查看并对比一些代码之后，我找到了下面这个代码，其中包括了DCGAN，LSAGN，WGAN，以及WGAN-GP的代码地址：https://github.com/LynnHo/DCGAN-LSGAN-WGAN-WGAN-GP-Tensorflow

在查看并对比一些代码之后，我找到了下面这个代码，其中包括了DCGAN，LSAGN，WGAN，以及WGAN-GP的代码地址：https://github.com/LynnHo/DCGAN-LSGAN-WGAN-WGAN-GP-Tensorflow

转载自：https://www.e-learn.cn/content/qita/814071fromdatetimeimportdatetimeimportosimportmatplotlib.pyplotaspltimportnumpyasnpimporttensorflowastffromsix.movesimportxrangedata=np.load('final37.npy')data=

链接：https://www.zhihu.com/question/52602529/answer/158727900来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。前段时间，WassersteinGAN以其精巧的理论分析、简单至极的算法实现、出色的实验效果，在GAN研究圈内掀起了一阵热潮（对WGAN不熟悉的读者，可以参考我之前写的介绍文章：令人拍案叫绝的Wasser

完整笔记：http://www.gwylab.com/note-gans.html———————————————————————6.WGAN-GP6.1WGAN-GP原理WGAN待解决的问题是，未能将D真的限制在1-Lipschitzfunction内。我们不妨观察一下1-Lipschitzfunction，会发现它其实等价于如下表达式：也就是说，对于一个可微函数，当且仅当对于任意的x，梯度的模都

在前面的基础上：GAN——DCGAN——LSGAN——WGAN——WGAN-GP（本文）在原始GAN基础上，DCGAN作者首先提出了一个将CNN引入GAN的全新架构，在一定程度上提高了训练的结果，但是这仅仅是一个治标不治本的架构

Paper:DCGAN:UnsupervisedRepresentationLearningwithDeepConvolutionalGenerativeAdversarialNetworksWGAN:WassersteinGANWGAN-GP:ImprovedTrainingofWassersteinGANsLSGAN:LeastSquaresGenerativeAdversarialNetwo

以下为MNIST测试，主要为了构建模型，只跑了，少量epoch,效果如下:WGAN2个epochwgan-gp6个epochgan10个epoch有时间可以多跑几轮，这里就不展示了。代码如下fromdatetimeimportdatetimeimportosimportmatplotlib.pyplotaspltimportnumpyasnpimporttensorflowastffromsix.

WGAN-GP生成MNIST参考博客点击打开链接点击打开链接33个epoch结果#coding:utf-8importosimportnumpyasnpimportscipy.miscimporttensorflowastffromtensorflow.examples.tutorials.mnistimportinput_data

最近试着玩了多种GAN，今天我们主要总结下常用的GAN包括DCGAN,WGAN,WGAN-GP,LSGAN-BEGAN，SRGAN的详细原理介绍以及他们对GAN的主要改进，并推荐了一些Github代码复现链接

前生今世本文已投稿至微信公众号--机器学习算法工程师，欢迎关注本文是GAN系列学习--前世今生第二篇，在第一篇中主要介绍了GAN的原理部分，在此篇文章中，主要总结了常用的GAN包括DCGAN,WGAN,WGAN-GP