《Self-Supervised Generative Adversarial Networks》论文笔记

       说在前面的话，我认为这篇文章的核心思想是，使得G(z)与真实图片接近的保证，除了直接匹配比较两者，还有更多的保证手段，如在真实图像中捕捉到的某种特征，在G(z)中也能捕捉到。这些保证可以作为辅佐保证来提高G的生成质量。（在此文中，可检测旋转角度的一种特征便是我这里的某种特征。）

       文章核心思想实现的细节是，G和D都保留原始GAN损失函数项；另，D要以真实数据的旋转角度损失，去锻炼区分某种特征的能力（那么这种能力同样可应用于G(z)上；而，G要生成这样一些图像，其在鉴别器的特征空间中的表示允许检测旋转。因此，可以看到G和D都各自增加了一项loss。

1.introduction

       开头阐明GAN是一种无监督的生成式模型，但具有训练不稳定的缺点。在不稳定的在线环境中，神经网络会忘记之前的任务， 如果鉴别器忘记了先前的分类边界，则训练可能变得不稳定或循环。 这个问题通常通过重复使用旧样本或应用连续学习技术来解决。在复杂数据集的背景下，这些问题变得更加突出。

       条件GAN应运而生，来抵抗这种致命的忘记。

       我们的目标是保留条件GAN的好处，同时无需标记数据。我们给鉴别器加了一个自监督的loss，以使鉴别器学到的表示更稳定和有用。因为鉴别器学到的表示对生成器输出质量的依赖性降低了。

       贡献总结：总的说，展示了一种无监督的生成模型，它结合了对抗训练和自监督学习。细说，首先在不要求标签数据的情况下保留条件GAN的效果，这句话就代表此模型可能会消除无条件与有条件模型下图像生成的差距；其次这样一来，鉴别器学到的表示的质量大大提高，在迁移学习中应该很有趣味。最后，实现了一个实验，无条件基于Imagenet生成，得到可人的结果。

2. A Key Issue: Discriminator Forgetting

在GAN的背景下，学习不同级别的细节，结构和纹理可以被认为是不同的任务。例如，如果生成器首先学习全局结构，则鉴别器将自然地尝试构建表示，该表示允许其仅基于全局结构的差异或缺乏局部结构来有效地惩罚生成器。 因此，训练中的一个不稳定源是，只要当前表示对于区分类别是有用的，就不会激励鉴别器来维持有用的数据表示。SS-GAN缓解了这个问题。

3. The Self-Supervised GAN

在鉴别器遗忘的主要挑战的推动下，我们的目标是为鉴别器注入一种机制，允许学习有用的表示，而不受当前发生器质量的影响。为此，我们利用自我监督在学习表示方法上的最新进展。 自我监督背后的主要思想是在预先任务上训练模型，例如预测图像块的旋转角度或相对位置，然后从结果网络中提取表示。

我们建议在我们的鉴别器中添加一个自我监督的任务。自我监督的任务是预测图像的旋转角度。

这种额外损失对图像分类任务的影响很明显：当与自我监督的损失相结合时，网络学习一些跨任务传递的表示，并且性能不断提高。直观地，这种损失促使分类器学习有用的图像表示以检测旋转角度，其转移到图像分类任务。

Collaborative Adversarial Training

在我们的模型中，生成器和鉴别器在预测真假的损失V（G，D）方面是对抗的，然而，它们在旋转任务方面是协作的。首先，考虑发生器的值函数，该函数将偏向于对图像的生成，当旋转时，鉴别器可以检测它们的旋转角度。

请注意，生成器不是有条件的，而是仅生成“直立”图像，随后将其旋转并馈送到鉴别器。

另一方面，训练鉴别器仅基于真实数据来检测旋转角度。换句话说，鉴别器仅基于真实数据上的旋转损失作参数更新。这防止了不期望的协作解决方案，即发生器会生成其旋转很容易被检测的图像。因此，生成器被鼓励去生成可旋转检测的图像（当然生成的仍为直立图像，具有旋转后可检测的内在特征而已），因为它们（这些生成图像）与用于旋转分类的真实图像共享特征。

在实践中，我们使用具有两个输出的单个鉴别器网络来计算PD和QD。图1描绘了训练总流程。我们以四种旋转去旋转实际图像和生成图像。未旋转图像上的鉴别器的目标是预测输入图片的真假。在旋转的真实图像上，其目标是检测旋转角度。

生成器的目标是生成与观察到的数据相匹配的图像，其在鉴别器的特征空间中的表示允许检测旋转。当α> 0，不能保证一定存在收敛真实数据分布PG = Pdata。然而，在训练期间将α退回到零将恢复这个保证。

初次发文，小白纯白。