Paper Reading: Self-Supervised GANs via Auxiliary Rotation Loss

Paper Reading Note

URL:
https://arxiv.org/pdf/1811.11212.pdf

TL;DR

cvpr2019的一篇GAN的文章。模型很简单，利用辅助损失解决GAN不稳定的问题；用旋转分类将辅助分类器对label的需求去掉，使图片可以直接对自己标注类别。

Related Work

在GAN中一个很重要的问题是模型不稳定，判别器常常学习了一个分布的特征后又来一个完全不同的分布样本，这样如果放任不管会造成模型欠拟合。如下面两个图所示。

上图下面蓝色虚线表示的是一般的GAN，在500k的时候由于对模型分布记忆开始发生混乱，导致准确率下降。

该图左侧的图示一般的GAN在每1k数据后换一次数据分布的结果，可以看到数据分布一换，原始的GAN会存在很大的误差，几乎又回到了原始未学习的状态。

于是就有了将辅助手段添加到GAN中引导判别器的训练。
解决的思路是让判别器有记忆，或者说去影响判别器的训练过程。例如反复训练之前训练过的图片或对参数作平均的average checkpoint。

Model

模型如上图所示。
该模型最大的特点是在表征学习（旋转角度分类任务）上让判别器和生成器协同，在判断True/Fake任务上又让二者回归原始的GAN中进行对抗。
对于真假训练的value function不变：

而在此基础上，作者增加了分类判别器：

从上面公式的符号也可以看出，在T/F判别是对抗，在Representation判别是协同。

Results

在CIFAR10和IMAGENET上FID值都远远优于unconditional-GAN。

与conditional-GAN差距也很小。

最后给出了一个demo，作者介绍这是目前已知的training unconditionally的gan在imagenet上生成效果最好的模型。

Thoughts

本文思路和模型都非常简洁清晰，利用图片自身旋转代替分类，再用这个分类损失辅助GAN解决GAN的问题，非常巧妙。