论文阅读：PReGAN Answer Oriented Passage Ranking with Weakly Supervised GAN

PReGAN：具有弱监督GAN的以答案为导向的文章排名

摘要： 文章中的答案实体不一定与给定问题相关。为了解决这个问题，我们提出了一种称为PReGAN的基于生成对抗性神经网络的通道重新排序方法，该方法除了包含主题相关性的鉴别器之外，还包含了对回答能力的鉴别。目标是迫使生成器在主题相关且包含答案的段落中排名更高。在五个公共数据集上的实验表明，PReGAN可以更好地对适当的段落进行排序，这反过来提高了QA系统的有效性，并且在不使用外部数据的情况下优于现有方法。

注：
可回答性：即检索到的段落是否可能包含答案。

引言： 事实上，与问题高度相关的段落不一定包含答案，包含答案实体的段落可能与问题不相关。在这两种情况下，阅读器可能会被这些段落误导而选择错误的答案，因为阅读器高度依赖提供给它的少数段落。因此，重要的是，为阅读器选择的段落既要相关，也要包含注释。

在本文中，我们提出了一种方法，通过面向答案的段落（重新）排序，根据这两个标准细化候选段落列表。

当训练排名器时，之前的方法都没有明确区分真阳性和假阳性：任何可以检测到答案文本的段落（例如P3）都被用作排名器的阳性训练样本。所以我们提出了基于生成对抗网络（GAN）的PReGAN通道重新排序模型，这可以迫使生成器更好地吸收真正的正确例子。我们扩展了GAN框架，引入了两个区分符，分别用于主题相关性和责任性。在这样做的过程中，我们的目标是建立一个更强的生成器，其中包含一些阅读能力，以生成满足这两个标准的段落。特别是，它应该将较低的分数分配给相关性低的段落（P3），包括不正确的答案（P1）或不支持答案（P2），并提高正确的段落（P4），
为了更好地解决这个问题，我们提出了基于生成对抗网络 (GAN) [14] 的用于通道重新排序的 PReGAN 模型，它可以迫使生成器更好地吸收真正的正面示例。我们通过合并两个鉴别器来扩展 GAN 框架，分别用于主题相关性和可回答性。这样做，我们的目标是构建一个更强大的生成器，它包含一些阅读能力，以生成满足这两个标准的段落。具体来说，它应该为低相关性 (P3)、包含错误答案 (P1) 或不包含对答案的支持 (P2) 的段落分配较低的分数，并提升正确的段落 (P4)，如图2所示。

（1） 我们提出了一种轻量级的面向答案的排名方法，除了相关性之外，还可以显式地建模回答能力。

（2） 我们通过定制的minimax机制来降低训练数据的噪声风险。

（3） 在五个公开的OpenQA数据集上进行的实验表明，在文章排名中，将可回答性与相关性相结合，从而提高了提取答案的质量。

框架介绍
PReGAN模型的一般架构如图2所示。它是一个弱监督生成对抗性神经网络，包含三个部分：排序判别器（用于相关性）、答案判别器和面向答案的排名生成器。

等级判别器将生成的等级分布与地面真实等级分布区分开来。答案判别器告诉生成的样本是否包含给定问题的答案。等级生成器在两个判别器的指导下读取段落，并学习为给定问题生成这些段落的面向答案的分布。因此，判别器从两个不同的角度指导基于阅读的生成器进行增强过程。

在训练结束时，预计与问题相关并包含答案文本的段落可以排名较高。换言之，优化GAN框架中建模的三个目标将有助于消除噪音，促进能够真正回答问题的好文章。GAN框架作为一种有效的去噪手段[39]的使用并不新鲜，但我们首次表明，它也特别适用于OpenQA中的噪声训练环境。

总体目标：
将面向答案的排名作为给定问题的段落分布，生成器的目标是通过极小极大博弈学习该分布。等级生成器将尝试选择可以（由阅读器）为给定问题推理答案的段落。等级判别器将试图在基本事实答案段落和生成器选择的段落之间做出明确区分。由于正训练通道是有噪声的，因此仅使用秩鉴别器可能会对基于机器读取的生成器产生误导。然而，如果答案可以从文章中提取出来，并且答案鉴别器确认答案的正确性，那么生成器选择的文章应该是一篇好文章。这一原则可以表述为极小极大博弈的以下总体目标函数：

其中带有参数 휃 的生成排序模型写为 푝휃 (푑|푞푛, 푎)，由 휙 参数化的排序判别器 퐷푟 휙 估计段落 푑 可以回答问题 푞 的概率。带有参数 휉 的答案鉴别器 퐷푎 휉 用作生成器的正则化器，强调出现答案文本的段落，无论它是否可以回答问题。目标中的最后一项是另一个常用的正则化器 [25, 41]，通过最小化它们之间的 KL 散度，将生成器产生的总体排名得分分布推向真实分布。