RNG-KBQA: Generation Augmented Iterative Ranking forKnowledge Base Question Answering (ACL2022)

论文链接：https://arxiv.org/pdf/2109.08678.pdf

源码：https://github.com/salesforce/rng-kbqa

现存问题

现存的KBQA方法在i.i.d 测试数据上表现优秀，但是当问题中涉及unseen KB schema items，泛化起来就会遇到困难。先前基于排序的方法具有较强的泛化能力，但是存在覆盖问题。

解决方法 

本文提出RNG-KBQA (a Rank-and-Generate approach for KBQA)，它能在保持较强泛化能力的同时，用生成模型解决覆盖问题(将问题和前几个候选逻辑形式传入生成模型主要是为了弥补排序时缺失的约束条件)。该方法首先使用一个对比排序器，把从知识图谱中检索到的所有候选逻辑形式进行排序；然后引入一个合适的生成模型，以问题和排名靠前的几个候选逻辑形式为条件，组成最终的逻辑形式。

实现过程

 

(1) 枚举候选逻辑形式

首先识别出问题中的实体，再利用知识库查询该实体两跳内可达的路径。然后用 S-expression 表示这些候选路径。

实体消歧

考虑与实体相连的关系。给定一个实体提及，我们将该问题和  与该实体提及相匹配的每个候选实体的关系连接起来 放入模型计算两者相似度(与ranker模型结构一样，损失函数也一样)。

(2) 对候选逻辑形式进行排序

排序模型使用的是  based-BERT  biencoder 。它通过最大化问句与正确逻辑形式的相似度，同时最小化与错误逻辑形式的相似度，从而对候选逻辑形式打分。模型输入问句和某个候选逻辑形式，输出logit(未归一化的概率)表示两者之间的相似度：

损失函数：

 模型训练时使用iterative-bootstrap-based 训练方法实现负采样：

由于候选逻辑形式非常多，而GPU资源有限，训练模型时，把所有的候选逻辑形式c 都放入公式(1)中是不现实的。所以，刚开始时可以使用排序模型随机取样；之后就选取那些使模型区分困难的逻辑形式作为负样例以便进一步训练模型。

(3) 目标逻辑形式的生成

生成模型使用的是based-T5  seq-to-seq模型，它能将前K个候选逻辑形式的语义和结构联系起来组成最终的逻辑形式。其中模型输入是问句和前K个候选逻辑形式的线性化序列；训练该模型时使用了teacher forcing的训练方法，用交叉熵做为损失函数，生成正确的逻辑形式。在推理中，使用束搜索自回归解码top-k目标逻辑形式，然后执行每个逻辑形式直到生成一个有效的答案（结果不为空）；如果生成的前K个目标逻辑形式都是无效的，那么就将ranker生成的排名第一的候选逻辑形式作为最终的答案。(teacher forcing 会使模型训练结果更好，但可能会与测试阶段的结果相差很大，而beam search 可以减小训练结果与测试结果之间的差异)

 数据集

 GrailQA

 

WebQSP

 实验结果

GrailQA

 WebQSP

 

 小结：

1. 实验结果证明了rank和generate之间相互作用的有效性，这使得该方法在泛化方面显示出卓越的性能，特别是在Zero-shot 泛化方面有很强的改进。

2. 使用bootstrapping 策略训练的ranker比之前的seq-to-seq ranker 能更好地区分正确的逻辑形式和虚假的逻辑形式。

3. Generator 可以进一步修复top-ranked逻辑形式中未包含的操作或隐式约束。