GAN学习历程之DCGAN

UNSUPERVISED REPRESENTATION LEARNING WITH DEEP CONVOLUTIONALGENERATIVE ADVERSARIAL NETWORKS:

论文地址：https://arxiv.org/abs/1511.06434
提出：
在这篇文章中，我们旨在打破CNN在监督学习中的成功和非监督学习之间的隔阂。我们的深度神经对抗对学习了层次结构表现从生成器和判别器的物体部分到场景。
1. Introduction
在这篇论文中我们主要做了如下贡献：
1.我们提出并评估了一系列卷积GAN的约束，并使他们训练稳定。我们把这样的结构称DCGAN。
2.和其他非监督学习算法相比，判别器进行的分类表现出明显的优势。
3.可视化滤波器
4.生成器具有有趣的向量算术特性，可以方便地处理生成的样本的许多语义性质。
2.DCGAN的框架
在以往的尝试中，将CNN应用于GAN，都没有获得成功。经过一系列的探索我们提出一类结构，它可以在分辨率更高、更深的生成模型上稳定训练。

Historical attempts to scale up GANs using CNNs to model images have been unsuccessful. However, after extensive model exploration we identified a family of architectures that resulted in stable training across a range of datasets and allowed for training higher resolution and deeper generative models.

---

我们方法的核心就是对现有的CNN结构提出三点改进。

• 第一点是全卷积网络(all convolutional net)，用步幅卷积(strided convolution)代替确定性空间池化函数(deterministic spatial pooling functions)(例如最大池化)，允许网络学习它自己的空间下采样。
• 第二点是在卷积特征之上消除全连接层(fully connected layers)。我们发现全局平均池化(global average pooling)，增加了模型的稳定性。但是降低了收敛速度。
• 第三点是批归一化（Batch Normalization)，将输入的每个单元都标准化为0均值与单位方差。这帮助解决由于poor initialization引起的训练问题，以及使得梯度流向更深的模型。在每一层使用batchnorm导致例子的振动以及模型的不稳定性。这可以通过不在生成器输出层和判别器输入层使用batchnorm来避免。
• 在输出层使用Tanh函数，其他层均使用ReLu激活函数。我们观察到使用有限制的激活函数允许模型学习得更快来填充和覆盖训练分布的颜色空间。对于判别器，我们发现leaky rectified activation函数好使，尤其是在更高分辨率的模型。
  
  

参考资料：

• https://blog.csdn.net/qq_33594380/article/details/84135797
• https://blog.csdn.net/wspba/article/details/54730871