各种GAN理解

【参考链接】https://blog.csdn.net/qq_25737169/article/details/80874717

GAN(Generator adversarial network)生成对抗网络，由good fellow在2014年提出，GAN原理请查看GAN的原理部分。

GAN的主要研究应用几种在图像生成、图像转换、图像合成、图像超分辨率、图像域的转换及图像修复等

一、图像生成

图像生成是基于GAN最基本的原理，生成图像、音频等

 

1）GAN

生成32X32分辨率的图像，比如mnist数据集

在这里要提一下cGAN，cGAN和GAN在同一年的NIPS发表，在GAN中的判别模型D中是一个二分类问题，但是对于像mnist数据集中有10类，cGAN在判别器的label以one-hot编码的形式，将目标函数分为多类

 2）DCGAN

【Paper】 ：

            http://arxiv.org/abs/1511.06434

【github】：

 

【参考资料】：

http://blog.csdn.net/liuxiao214/article/details/73500737

http://blog.csdn.net/solomon1558/article/details/52573596 
https://buptldy.github.io/2016/10/29/2016-10-29-deconv/ 

https://blog.csdn.net/stalbo/article/details/79359095

DCGAN是继GAN之后很大的改进，将卷积网络应用于生成网络集判别网网络中

论文的主要贡献（稳定深度卷积GAN构架）：

1、全卷积网络：使用步幅卷积（判别网络）和微步幅卷积（生成网络）进行代替所有的polling层

2、消除全链接层：

3、Batch Normalization ：将每个单元的输入都标准化为0均值和单位方差，有助于加快梯度下降，但是所有层都进行BN，会导致样本震荡和模型不稳定，因此，在生成器（G）的输出层和判别器（D）的输入层不采用BN

4、激活函数：在生成器（G）中，除输出层使用Tanh函数，其余都采用Relu函数，在判别器（D）中采用Leaky rectified activation

 

【注意】

 使用步长卷积代替上采样层，卷积在提取图像特征上具有很好的作用，并且使用卷积代替全连接层

  生成器G和判别器D中几乎每一层都使用batchnorm层，将特征层的输出归一化到一起，加速了训练，提升了训练的稳定性。（生成器的最后一层和判别器的第一层不加batchnorm）

在判别器中使用leakrelu激活函数，而不是RELU，防止梯度稀疏，生成器中仍然采用relu，但是输出层采用tanh

 使用adam优化器训练，并且学习率最好是0.0002，（我也试过其他学习率，不得不说0.0002是表现最好的了）

3）BEGAN

4）ProGAN

到生成2K真假难辨高清分辨率图像

 

GAN除了作用于图像，还可以生成3D目标和音乐

二、图像转换（图像翻译）

在GAN模型中的生成器G输入值为一个随机向量z，输出是图像，在图像转换中，生成器G中输入为图像

（1）pix2pix：

【参考代码】

https://affinelayer.com/pixsrv/

（2）cycle-GAN

cycle-GAN的主要贡献是提供了一种无监督的图像翻译方法

https://junyanz.github.io/CycleGAN/

（3）DiscoGAN

DiscoGAN是在不需要label标记和图像pairing的情况下学习，可以进行风格迁移

三、图像合成

（1）场景合成

（2）人脸合成

        TP-GAN

（3）文本到图像的合成

       stack GAN

（4）风格迁移

     Age-cGAN

四、图像超分辨率

五、图像域转换

StarGAN：https://github.com/yunjey/StarGAN

PixelDTGAN：https://github.com/fxia22/PixelDTGAN

六、图像修复

另外：

 图像增强 AugGAN https://blog.csdn.net/leviopku/article/details/83412417

去模糊deblurGAN https://blog.csdn.net/leviopku/article/details/83818997

生成式数据增强方法 GMM-CGAN https://blog.csdn.net/leviopku/article/details/81384470

去雾 Stacked-GAN https://blog.csdn.net/qq_24477135/article/details/85760639

去除雨滴 Attentive GAN https://www.sohu.com/a/237743234_464065

【****结论****】

虽然没有将这些GAN模型全部研究透彻，但为之后项目做了准备，这用这些模型，可以制作工业图像集，如春夏秋冬、大雨、暴雪等各种环境下的定点采集的图像集的扩充，另外，可以对各种环境下图像的修复，如去雾气、去模糊等方面的应用。