深度学习之 生成对抗网络 GAN 及发展历程整理
本文介绍 GAN （Generative Adversarial Networks），即生成对抗网络基本概念及发展历程
参考资料
论文 https://arxiv.org/abs/1406.2661
论文 《生成式对抗网络GAN的研究进展与展望》
1、GAN 介绍
生成对抗网络GAN（Generative Adversarial Networks），基本思想源自博弈论的零和游戏，由一个生成器和一个
判别器构成，通过对抗学习的方法来训练。GAN 的核心思想来源于博弈论的纳什均衡. 它设定参与游戏双方分别为一个生
成器(Generator)和一个判别器(Discriminator), 生成器的目的是尽量去学习真实的数据分布, 而判别器的目的是
尽量正确判别输入数据是来自真实数据还是来自生成器。
为了取得游戏胜利, 这两个游戏参与者需要不断优化, 各自提高自己的生成能力和判别能力, 这个学习优化过程就是寻找
二者之间的一个纳什均衡. GAN的计算流程与结构如下图 所示. 任意可微分的函数都可以用来表示GAN 的生成器和判别器,由
此,我们用可微分函数D 和G 来分别表示判别器和生成器, 它们的输入分别为真实数据x 和随机变量z.G(z) 则为由G 生成的尽量
服从真实数据分布P_data的样本. 如果判别器的输入来自真实数据, 标注为1.如果输入样本为G(z), 标注为0. 这里D 的目标是实
现对数据来源的二分类判别: 真(来源于真实数据x 的分布) 或者伪(来源于生成器的伪数据G(z)),而G 的目标是使自己生成的伪数
据G(z) 在D 上的表现D(G(z)) 和真实数据x 在D 上的表现D(x)一致, 这两个相互对抗并迭代优化的过程使得D 和G 的性能不断提
升, 当最终D 的判别能力提升到一定程度, 并且无法正确判别数据来源时, 可以认为这个生成器G 已经学到了真实数据的分布.
GAN（Generative Adversarial Nets）由两个“对抗”模型组成：一个捕获数据分布的生成模型G和一个判别模型D，
它估计样本来自训练数据的概率而不是生成样本的概率. G和D都可以是非线性的映射函数，例如多层感知器。
为了在数据数据x上学习生成器分布p_z(z) ，生成器建立从先前噪声分布p_z（z）到数据空间的映射函数，如G（z;θg）。
鉴别器D（x;θd）输入是真实图像或者生成图像，输出单个标量，该标量表示x来自训练数据而不是p_g的概率。
G和D都同时训练：固定判别模型 D，调整 G 的参数使得 log(1−D(G(z))的期望最小化；固定生成模型 G，调整 D 的参数
使得 logD(X)+log(1−D(G(z)))log 的期望最大化，这个优化过程归结为二元极小极大博弈（minimax two-player game）
问题：
GAN是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。
模型通过框架中（至少）两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）的互相博弈学习
产生相当好的输出。原始 GAN 理论中，并不要求 G 和 D 都是神经网络，只需要是能拟合相应生成和判别的函数即可。但
实用中一般均使用深度神经网络作为 G 和 D 。一个优秀的GAN应用需要有良好的训练方法，否则可能由于神经网络模型的
自由性而导致输出不理想。
2、GAN 发展历程
几个重要的GAN及论文
C-GAN 条件GAN 2014 CGAN 《Conditional Generative Adversarial Nets》- Mehdi Mirza, arXiv:1411.1784v1
论文 https://arxiv.org/pdf/1411.1784.pdf
DCGAN 深度卷积对抗生成网络
2015 DCGAN《Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks》
Alec Radford & Luke Metz, arxiv:1511.06434
Semi-Supervised 半监督GAN
2016 Semi-Supervised Learning with Generative Adversarial Networks
https://arxiv.org/abs/1606.01583
InfoGAN
2016 InfoGAN《InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial NetsI》
Xi Chen, arxiv: 1606.03657
W GAN
2017 WGAN 《Wasserstein GAN》- Martin Arjovsky ,arXiv:1701.07875v1
BEGAN：边界平衡生成对抗网络
2017 BEGAN BoundaryEquilibriumGenerative AdversarialNetworks
https://arxiv.org/pdf/1703.10717.pdf
TP GAN TWO pathway Geanerator Network
2017 Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis
Huang_Beyond_Face_Rotation_ICCV_2017_paper.pdf
MSG-GAN (Multi-Scale Gradients GAN) 度尺度GAN
2019 MSG-GAN: Multi-Scale Gradient GAN for Stable Image Synthesis
https://arxiv.org/abs/1903.06048