CGMH: Constrained Sentence Generation by Metropolis-Hastings Sampling

Abstract

在自然语言生成的实际应用中，除了流畅度和自然度的要求外，通常还有一些其他的约束。

已有的一些语言生成技术基于 RNN 实现，对于这类方法，不容易在维持生成质量的同时对其添加约束。

文本提出 CGMH，通过 Metropolis-Hastings sampling 来实现 受约束的句子生成。

• CGMH 允许施加复杂的约束，如要求在生成的句子中必须出现多个关键词，这在传统基于 RNN 的方法中是无法做到的。
• CGMH 是在推理阶段工作的，因此不需要平行语料来训练。

我们在几种任务上对我们的方法进行了评估，包括：

• keywords-to-sentence generation
• unsupervised sen- tence paraphrasing
• unsupervised sentence error correction

相比于之前的有监督方法，CGMH 实现了很好的句子生成效果。

代码：https://github.com/NingMiao/CGMH

Introduction

句子生成中的约束分为几种：

• Hard constraints
  • 如必须包含特定关键词
• Soft constraints