生成对抗网络GAN系列（四）--- LSGAN---最小二乘GAN（Least Squares Generative Adversarial Networks）---

Least Squares Generative Adversarial Networks

Xudong Mao, Qing Li, Haoran Xie, Raymond Y.K. Lau, Zhen Wang, Stephen Paul Smolley

论文链接：https://arxiv.org/pdf/1611.04076.pdf

1.简介

传统的GAN的 Discriminator网络采用的是sigmoid cross entropy loss，在训练的时候容易发生梯度弥散。

所以本篇论文选择了另一种损失函数：Least Squares loss function，具备以下两种优点：

①比传统gan网络生成的图片的质量要高

②训练过程更加stable

 

2.核心思想

将损失函数替换为：least squares loss

 

3.具体实现

这里注意到它的网络结构里面用的也是convolution layer，可以说是经由DCGAN演化而来

跟DCGAN相比，多了一些stride=1的卷积。

在LSUN bedroom数据集上实验，产生的图像效果跟DCGAN没有什么差别（架构跟DCGAN相同，只是改了目标函数），

实际上，你可以直接把DCGAN的代码修改一下目标函数，就成了LSGAN。

但是训练的效果可能没有作者提出的架构好，毕竟架构上有稍许差异

4、讨论

①生成图片质量比传统GAN高的原因

这图1和这一大段话基本在说这么一件事：

对于一些G生成的样本，如果判别器D判定它们为real，

在使用传统损失函数sigmoid cross entropy loss的情况下：那么这些样本就不会再得到优化

但使用least squares loss 的情况下，这些图片会继续得到优化，所以生成的图像质量会更高

②训练更稳定：

sigmoid交叉熵损失很容易就达到饱和状态（饱和是指梯度为0），而最小二乘损失只在一点达到饱和

 

5.参数设置

方法①

 

方案②