深度卷积生成对抗网络（GCGAN）

本文大部分资料都是从该paper中获取的信息，有需要的小伙伴可以从这里下载学习https://arxiv.org/pdf/1511.06434.pdf      

      在计算机视觉中，CNN的有监督学习广受青睐，也得到了大量的应用。但是CNN的无监督学习受关注较少。DEEP CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS(DCGAN)，可以将有监督和无监督学习连接到一起。它分为生成器G（有监督）和判别器D（无监督）的CNN网络连接到一起（文章中的生成器简写为G，判别器简写为D）。G在对图片数据进行收集训练后，D进行无监督的训练，并有效的还原G的图片。GCGAN就是在原有的GAN网络中添加了一套卷积的约束条件，并且可以稳定学习配置（当然paper中用的是in most settings，不过还是很稳定的）。

      GCGAN网络的主要改进：

1、在图片分类任务中，与其他的无监督网络比较，有着更好的效果。

2、G可以根据通过GAN网络训练的滤波器区分生成的各个目标。

（记录一下卷积之后的图片size的计算公式：卷积后图像尺寸的计算：假设原始图像为M*M，卷积核大小为N*N，边缘填充像素个数为pad，步长为stride。则卷积后图像的尺寸变为：m =(M-N+2*pad)/sride+1。）

3、D可以对生成样本图像的语义质量进行任意的操作。

      无监督学习一般用于聚合的问题，比如利用k-means方法聚合数据的类别。在计算机视觉中，无监督的神经网络训练自动编码器也是非常的流行。自动编码器是一种无监督的神经网络模型，它可以学习到输入数据的隐含特征，这称为编码(coding)，同时用学习到的新特征可以重构出原始输入数据，称之为解码(decoding)。从直观上来看，自动编码器可以用于特征降维，类似主成分分析PCA，但是其相比PCA其性能更强，这是由于神经网络模型可以提取更有效的新特征。除了进行特征降维，自动编码器学习到的新特征可以送入有监督学习模型中，所以自动编码器可以起到特征提取器的作用。作为无监督学习模型，自动编码器还可以用于生成与训练样本不同的新数据，这样自动编码器（变分自动编码器，Variational Autoencoders）就是生成式模型。

      GAN网络用一个全卷积的网络代替了卷积网络的池化层进行下采样操作。G也用同样的全连接网络对图片进行上采样操作生成图像。DGGAN以LSUM数据集作为生成器输入数据，将100维的均匀分布的噪声向量作为输入，以一个4*4*100特征输出。最后生成一个64*64的图像，对于D来说没有池化层和全连接层。对于G来说，最后的卷积层以一个sigmode形式进行输出。下图是生成器网络的模型架构：

        在GCGAN网络中，G和D都使用batchnorm操作。GCGAN去掉了隐藏层里面所有的全连接层。在G中除了输出层使用了tanh计划诺函数，其它层全部使用了ReLU激活函数，用跳格卷积操作代替了池化层。在D中，全部层都使用LeakyReLU激活函数，使用了反卷积操作。

       GCGAN只将tanh激活函数的范围调整到[-1,1]，没有做其他预处理操作。所有模型都使用mini-batch随机梯度下降(SGD)训练，mini-batch大小为128。所有权重初始化为一个以0为中心的正态分布，标准差为0.02。D的LeakyReLU激活函数斜率被设置为0.2。GCGAN使用Adam优化器设置超参数。