SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient 翻译

摘要

生成对抗网(Generative Adversarial Net，GAN)作为一种利用判别模型指导生成性模型的训练方式，在生成实际数值数据方面取得了相当大的成功。然而，当目标是生成离散令牌序列时，它具有局限性。其主要原因在于生成模型的离散输出使得很难将梯度更新从判别模型传递到生成模型。此外，判别模型只能评估完整的序列，而对于部分生成的序列，一旦生成了整个序列，就很难平衡其当前得分和未来得分。在本文中，我们提出了一个序列生成框架，称为SEQGAN，以解决这些问题。在加强学习（RL）中将数据生成器建模为随机策略，SeqGAN通过直接执行梯度策略更新来绕过生成器微分问题。RL奖赏信号来自于一个完整的序列判断的GAN鉴别器，并使用蒙特卡罗搜索返回到中间状态-动作步骤。在合成数据和真实世界任务上的广泛实验证明了相对于强基线的显著改进。