A Three Player GAN Generating Hard Samples To Improve Classication Networks

摘要

我们提出一个三层生成对抗网络来改进经典网络。除了判别器和生成器之间的博弈外，还引入了生成器和分类器之间的竞争。该生成器的目标是合成既真实又难以为分类器标记的样本。尽管我们没有对要学习的扩展类型做任何假设，但是我们发现该模型能够综合出对类化模型来说比较困难的实际示例。此外，当对这些困难的样本进行训练时，分类器变得更加健壮。该方法在一个公共的交通标志识别数据集上进行了评价。

简介

深度卷积神经网络为计算机视觉领域带来了重大进展。但是，训练模型仍然需要大量数据。随着智能视觉系统在越来越动态的环境中部署，收集必要的数据变成了一项繁琐的工作。最近基于生成对抗网络（GAN）[1-4]的生成建模工作允许有效地合成属于数据分布的新样本。GAN从两个实体之间播放的对抗性游戏中获取数据分布：生成器G合成新样本，鉴别器D尝试将实际样本与G合成的样本分开。生成器的目标是混淆D，使其无法区分真实和虚假的例子。当两名球员处于纳什均衡时，比赛结束。
GAN证明对提高分类网络的性能很有用。例如，[5]提出了一种共同优化数据增强的对抗方法和用于姿势估计的网络。生成器学习从训练数据合成增强，这些增强很难为分类网络标记。增强由旋转，缩放变换和遮挡组成。
此外，[6-9]已成功在半监督学习环境中使用GAN。在[6]中，鉴别器从未标记的数据中学习分类任务。鉴别器必须将每个样本分类为选定数量的类别。由于条件分布p（）是未知的，因此包括了ft度量的优点以确保类别和类标签之间的对应关系。 [8]通过将来自GAN的图像视为来自附加类的样本，以半监督方式训练分类器。 [9]同时训练分类器和生成模型。他们发现生成器和分类器都代表标签和图像之间的条件分布。这种观察导致了发电机和分类器之间的兼容性标准。
我们的工作实现了一个三人对抗游戏，分类网络参与其中。发生器适应鉴别器和分类器。这允许生成器估计难以为分类器正确标记的样本的分布。与[5]相反，我们的工作并不限制可以学习的增强类型。此外，所提出的方法仅仅依赖于反向传播，这使得它成为一种非常通用的方法。我们表明，当注释数据稀缺时，三人游戏可以改善分类网络。所提出的方法在CURE-TSR [10]上进行评估，这是一种公开可用的交通标志识别数据集。

方法

常规的生成性对抗网络[1]包括在鉴别器D和生成器G之间播放的最小 - 最大游戏。此外，我们现在介绍发电机和分类器之间的竞争。G的目标从合成逼真的图像变为生成对于分类网络既实际又具有挑战性的图像。
如前所述，训练鉴别器以预测样品是真实的还是假的。反过来，发电机优化两个损失的总和。第一个术语是鉴别器提供的常规GAN损失。为了使发电机与分类器竞争，需要适当选择第二损失项。为此，反向传播应该在G的样本上产生分类模型损失的最大化。这鼓励G转向分配混淆分类器的样本。通过最小化来自G的样本的分类损失来训练分类器。通过一个接一个地更新所有三个模型来玩游戏。

图1：三人游戏的设置。来自发生器的图像通过鉴别器D和分类器C传播。通过D反向传播的梯度照常进行。通过C反向传播的梯度重新缩放并反转为。D的损失惩罚G合成不切实际的样品，而C的反转损失奖励G合成不同的样品。
受[11]的启发，G所见的第二个损失项的目标是通过在发电机和分类器之间实现梯度反转层来实现的。在正向通过期间，来自G的样本被简单地传递到分类网络。当反向传播分类损失时，梯度的符号被反转，导致G中的更新以最大化分类损失。这种技术与[12]有关，它通过应用沿着分类损失可能增加的方向的扰动来找到对抗性的例子。我们系统的设置如图1所示。

三人GAN与辅助分类GAN（ACGANs）[13]有一些相似之处。在ACGAN模型中，鉴别器除了预测其来源之外，还对图像进行分类。这允许将鉴别器部署为分类模型。我们的方法有两个主要差异。首先，在三人游戏中，发电机试图最大化分类损失而不是最小化它。这项工作的重点是生成硬样品。其次，三玩家GAN将鉴别器和分类器的网络架构分开。这允许专门针对各自任务的鉴别器和分类器的体系结构。
三人游戏的完整训练程序在算法1中定义。引入超参数λ来权衡分类损失与判别性损失。

实验

我们首先考虑一个玩具示例，它表明三人游戏充当了分类器决策表面的正规化器。在第二部分中，我们评估了我们在CURE-TSR上的方法[10]。两个实验都比较了通过三人游戏训练的分类网络与其他几种训练场景的表现。

培训细节

我们通过训练条件GAN来初始化三人游戏中的鉴别器和生成器。更新分类器时，我们对包含真实图像，初始生成器合成的图像和当前生成器合成的图像的批次进行采样。来自初始发生器的样本用于避免灾难性遗忘早期不同的例子。

图2：不同培训程序结束时分类模型的决策表面。根据[6]中的方案更新学习率和加权参数λ

随着p训练进度从0到1线性增长，α= 10，β= 0.75， = 0.1和μ0初始学习率。的值选择小于1，以确保合成实际样本优先于合成不同的样本。在训练过程中，称重参数λ逐渐增大，即使分类模型变得更好，发生器也可以提供不同的样品。
我们通过玩具示例证明了三人GAN有效地充当了正规化者。考虑需要分离两个类的样本的情况。两个类都分布为二维高斯，由 =±1 =±1和 = = 0.5参数化。训练数据由每个类别的八个例子组成，在图2中以点和十字形绘制。表示为简单线性映射的分类器使用铰链损耗进行训练。
使用可用的训练示例训练基线分类器和条件GAN。对真实样本和合成样本的组合训练第二分类模型。第三，我们还训练基于三人游戏的分类模型。对于此特定示例，我们将分类器初始化为基线模型并冻结其参数。该游戏进行了几个时期，允许发生器估计对于基线模型而言不同的样本的分布。分类模型的参数随机初始化。为确保公平比较，我们确保分类模型使用相同的初始权重。图2显示了通过不同的训练方案获得的分类模型的决策边界。通过比较，我们发现三人GAN能够使决策表面正规化。
再考虑之前的两个高斯分布，但方差增加。当从这两个类中抽样时，我们发现分布在原点附近显示出显着的重叠。如果三人游戏的行为符合预期，我们希望生成器合成位于原点附近的样本。我们通过从两个高斯分布中采样来训练分类模型和条件GAN。之后，通过三人游戏更新发生器，以合成不同的样本。图3显示了结果。我们发现生成器学习在分类器很难的位置合成样本。
CURE-TSR
CURE-TSR数据集[10]由在不同天气条件下的14个交通标志类别的真实和模拟图像组成。在以下条件下考虑这组模拟交通标志实例：晴朗天气，低中高水平的降雪，低中高水平的降雨和低中高水平的黑暗天气。对于训练（相应验证）设置，我们从每个天气条件中获得每个班级的前100个（相应的最后50个）图像。由于数据包含摄像机逐渐靠近交通标志的图像序列，因此数据选择归结为仅使用少数这样的序列。
同样，我们使用可用的训练数据训练分类器和条件GAN。第二种分类使用实际样本和由条件GAN合成的样本来训练模型。第三，我们与辅助分类器GAN进行比较。最后，通过三人游戏学习分类器。如3.1节所述，鉴别器和生成器被初始化为来自条件GAN的模型。

图3：实际分布由两个部分重叠的类组成。两者都是二维高斯，其中均值表示为点。图中的圆圈对应于标准偏差的倍数。我们发现三人GAN学会在两个类重叠的位置合成样本。这些是难以为分类模型正确标记的样本。

图4：三人游戏中生成的图像。
分类器的网络体系结构基于[14]中用于交通标志识别的多列深度神经网络中的一列。鉴别器和发生器网络基于早期的工作[2]。更多细节可以在补充材料中找到。使用Adam Optimizer [15]（μ0= 0.001 1 = 0.5 2 = 0.999）训练分类网络150个时期。学习率每60个时期降低10倍。权重衰减项1 4包含在分类损失中。条件GAN使用64号批次训练500个时期。对于辅助分类器GAN，我们重用了原始工作中的架构和训练方案[13]。我们使用具有与[16]相同的学习参数的Adam Optimizer（μ0= 0.0002 1 = 0.0 2 = 0.9）。三人游戏的初始学习率与其他训练策略相同。结果可以在表1中找到。我们发现通过三人游戏训练分类模型可以提高测试的准确性。图4显示了在三人游戏中生成的图像。
表1：针对不同培训方案的CURE-TSR测试集的准确性。

结论

我们已经提出了一种有效但简单的方法来改进分类网络，通过生成模型合成不同的样本。该方法基于常规GAN游戏，但包括对抗性损失，其将发生器引导至不同的样本。与以前的工作相比，我们不限制，也不限制生成模型可以学习的增强类型。我们发现生成模型能够合成逼真的图像，这些图像很难为分类模型正确标记。由于我们的方法仅仅依赖于反向传播，未来的研究可以看出这个想法是否也适用于不同的任务。