IMPROVING GENERATIVE ADVERSARIAL NETWORKS WITH DENOISING FEATURE MATCHING（Bingio-ICLR2017）

IMPROVING GENERATIVE ADVERSARIAL NETWORKS WITH DENOISING FEATURE MATCHING（Bingio-ICLR2017）

通过消噪特征匹配改进生成式对抗网络
摘要：
我们提出了一种针对生成对抗网络的增强训练程序，旨在通过将生成器引导至抽象鉴别器特征的可能配置来解决原始缺陷。 我们使用降噪自动编码器估算并跟踪从数据计算出的这些特征的分布，并使用它为生成器提出高级目标。 我们将这种新的损失与原始损失相结合，并从包含多种视觉类别的数据集中，评估混合准则对无监督图像合成的任务，并注意到所得样本的“客观性”在质和量方面都有改进。

介绍：
生成对抗网络（Goodfellow et al。，2014a）（GAN）以其在逼真的图像合成方面的实力而闻名。 生成网络的目标函数是学习型鉴别器网络的隐式函数，与生成器并行估算，旨在区分合成的真实数据。 理想情况下，鉴别器学习捕获真实数据的区别特征，生成器学习模仿鉴别特征，并且过程反复进行，直到真实数据和合成数据无法区分为止。

在实践中，GAN的挑战在于有效培训。 生成器和鉴别器的相对模型容量必须仔细平衡，以便生成器有效学习。 使问题复杂化的是缺乏明确和可计算的收敛标准。 然而，特别是在接受来自相对狭窄领域（例如卧室场景（Yu等人，2015）和人脸（Liu等人，2015））的图像集训练时，GAN已显示出非常令人信服的结果。

对于包含更广泛的视觉世界的各种图像集，结果通常不那么令人印象深刻。 例如，在ImageNet上训练的模型中的样本（Russakovsky等，2014）大致匹配自然图像的本地和全局统计，但生成的物体很少。 最近的工作（Salimans等，2016）试图通过以半监督的方式训练鉴别器，并向鉴别器的内部表示形式了解所提供的训练数据（部分）的类结构，来解决该问题。 该技术显着提高了样品质量，但从GANs作为无监督学习的工具的角度来看并不令人满意。

我们建议通过第二个训练目标来增强生成器的训练标准，该目标通过明确建模数据密度和对抗性鉴别器，将生成器引向更类似于训练集中的样本。 除了为该任务部署第二个计算昂贵的卷积网络外，还需要在鉴别器学习到的特征空间内计算额外目标。 在那个空间中，我们训练一个去噪自动编码器，这是一类模型，众所周知，该模型可以估计在其上训练的数据的能量梯度。 我们对从发生器生成的样本进行降噪自动编码器评估，并使用“降噪”特征作为目标-根据降噪器估计的分布，附近特征配置比生成样本的可能性更大。

我们表明，这产生了生成器，该生成器始终在CIFAR10数据集上生成可识别的对象，而无需使用Salimans等人的标签信息。 （2016）。 该标准似乎可以提高稳定性，并且对众所周知的“塌陷”病理具有一定程度的自然鲁棒性。 我们将进一步研究该标准在两个更大，更多样化的图像集合上的性能，并使用Salimans等人提出的Inception分数定量地验证我们的定性观察结果。 （2016）。

2 BACKGROUND
2.1 GENERATIVE ADVERSARIAL NETWORKS
2.2 CHALLENGES AND LIMITATIONS OF GANS

3 IMPROVING UNSUPERVISED GAN TRAINING ON DIVERSE DATASETS

在这项工作中，我们将重点放在训练GAN时遇到的困难上，当他们在各种自然图像集合上进行训练时，以生成“类物体”样本。 而Salimans等。 （2016）通过使用标签数据和训练鉴别器在此问题上取得进展，这里我们的目标是在无监督的情况下取得进展。 然而，我们的方法将很容易适用于监督，半监督或（略有修改）条件设置。

我们从一个微妙的观察开始，在GAN训练过程的现实体现中，鉴别者相对于样本的（负）梯度指向相对于鉴别者对数据样本的估计（最小）局部改善的方向； 它不一定指向数据分布的方向。 实际上，文献中充斥着关于分类模型（尤其是宽域自然图像分类器）输入的梯度下降的实例，从而产生了对特定类别示例的幻影近似（Le等人，2012； Erhan等人， 2009； Yosinski等人，2015）在没有其他指导的情况下执行此程序时，更不用说对抗性例子（Szegedy等人，2013； Goodfellow等人，2014b）和愚弄性例子（Nguyen等人）带来的问题。 等人，2015）。
尽管由鉴别器定义的损失函数的梯度可能是与局部改进最相关的信息源，但是鉴别器本身是训练数据的紧凑描述符的潜在有价值的来源。 许多作者注意到卷积网络学习到的高级功能具有非凡的通用性（Donahue等人，2014； Yosinski等人，2014），甚至可以从一个语言的最深层重构高级语义的程度。 网络（Dosovitskiy＆Brox，2016）。 尽管不是平稳的，但在对数据进行评估时，鉴别器的高级激活的分布已经成熟，可以作为有关数据分布显着方面的附加知识来源加以利用。

我们在这项工作中建议，在对训练数据进行评估时，使用对鉴别器的隐藏状态进行训练的降噪自动编码器r（·）来跟踪这种分布。 Alain＆Bengio（2014）表明，根据分布q（h）的数据训练的去噪自动编码器通过r（h）-h估算真实对数密度的梯度，即log log（h）∂h。因此，如果我们用x〜D在变换后的训练数据h =Φ（x）上训练去噪自动编码器，则r（Φ（x0））-Φ（x0）随x0 = G（z）指示哪个方向为了使h =Φ（x0）更像与数据一起看到的那些特征，应更改x0。因此，相对于x0最小化|| r（Φ（x0））-Φ（x0）||| 2将根据特征空间Φ（x）中的数据分布将x0推向更高的概率配置。因此，我们根据生成器上的样本评估鉴别器特征Φ（x）和降噪自动编码器，并将降噪器的输出重构作为生成器的固定目标。我们将此过程称为降噪特征匹配，除传统GAN生成器目标外，还将其用作生成器的学习信号。

形式上，令G为由θG参数化的生成器，而D =d◦Φ为我们的鉴别器组成特征提取器Φ（·）：Rn→Rk和分类器d（·）：Rk→[0，1]。 令C（·）：Rk→Rk是当训练去噪时应用于去噪自动编码器输入的损失函数。 鉴别器D的参数（包括d和Φ的参数）按Goodfellow等人的方法训练。 （2014a），而生成器是根据

其中r（G（z））关于梯度计算被视为常数。 同时，根据目标训练去噪器r（·）

3.1 EFFECT OF Φ
从数据分布p（vecx）估计去噪函数时，适用于去噪自动编码器的理论。 在这里，我们建议在鉴别特征的空间中估计降噪自动编码器，从而产生分布q（Φ（x））。 一个自然的问题是，这会对反向传播的梯度产生什么影响。 通常，这很难分析，因为对于大多数选择，映射Φ是不可逆的，尽管检查可逆情况是有益的。 假设Φ为可逆：Rn→Rn，令J =∂Φ（x）∂x为Φ的雅可比行列式，而q（Φ（x））= p（x）| J |。 根据逆函数定理，J也是可逆的（实际上是逆Φ-1的雅可比行列式）。 应用链式规则并重新安排条款，利用J的可逆性，我们得出q的得分与p的得分之间的直接关系：
dJ / dxk是J元素相对于xk的标量导数矩阵。 因此，我们可以看到，在理想设置中反向传播到生成器的梯度是数据分布p（x）的梯度以及一个加法项，该加法项说明了Φ局部围绕x的体积膨胀/收缩率的变化。 实际上，Φ是不可逆的，但是以降噪器为目标的梯度的额外好处似乎可以减少对发生器中p模式的欠拟合，而与Φ可能引入的任何失真无关。

4 RELATED WORK
5 EXPERIMENTS
见原文：IMPROVING GENERATIVE ADVERSARIAL NETWORKS WITH DENOISING FEATURE MATCHING