知识图谱与问答系统-论文分享两则

论文一：Improving Question Generation with Sentence-level Semantic Matching and Answer Position Inferring

论文链接：https://arxiv.org/pdf/1912.00879.pdf

本文主要聚焦问答系统（Q&A）的反问题—问题生成（Question Generation，Q&G）。问题生成的目的是在给定上下文和相应答案的情况下生成语义相关的问题，问题生成任务可分为两类：一类是基于规则的方法，即在不深入理解上下文语义的情况下手动设计词汇规则或模板，将上下文转换成问题。另一类是基于神经网络的、直接从语句片段中生成问题词汇的方法，包括序列-序列模型（seq-to-seq）、编码器解码器（encoder-decoder）等。本文讨论的是后一种基于神经网络的问题生成方法。
目前，基于神经网络的问题生成模型主要面临以下两个问题：（1）错误的关键词和疑问词：模型可能会使用错误的关键词和疑问词来提问；（2）糟糕的复制机制：模型复制与答案语义无关的上下文单词。本文旨在解决以上两个问题。

本文的亮点主要包括：
（1）以多任务学习的方式学习句子级语义
（2）引入答案位置感知。

与现有的问答系统、问题生成模型的处理方式不同，本文并不是通过引入更多的有效特征或者改进复制机制本身等来改进模型效果，而是直接在经典序列-序列模型（seq-to-seq）中增加了两个模块：句子级语义匹配模块和答案位置推断模块。此外，利用答案感知门控融合机制来增强解码器的初始状态，从而进一步改进模型的处理效果。

论文二：Stepwise Reasoning for Multi-Relation Question Answering over Knowledge Graph with Weak Supervision

论文链接：https://dl.acm.org/doi/abs/10.1145/3336191.3371812

知识图谱问答(KG-QA)系统大多包含两个步骤：链接问题中的topic entity到KG，然后识别问题所指的在KG中的最相关的关系。根据获取答案所需的KG三元组的数量，可以将自然语言问题分成单一关系问题和多关系问题两种。
现有的KG-QA方法可以分成两个主流的分支。
第一种主要致力于学习一个能够将非结构化的问题转换为结构化表示的语义解析器(Semantic Parser, SP)，其中传统的基于SP的方法利用诸如SPARQL、λ-DCS和λ-calculus之类的逻辑形式，但这就要求用户熟悉这些逻辑形式的语法和后台数据结构，而且预测所得的结构和和KG的结构之间存在的不匹配的情况也会限制模型的表现。因此最近的研究使用query graph来表示问题的语义结构，这样可以取得较好的结果，但以人工标注成本作为代价，因此难以用于其它领域，且依赖于成熟的NLPpipelines，会有错误的叠加。
另外一个分支的方法利用以topic entity为中心的子图获取候选答案，且将问题和每个候选子图编码为同一个嵌入空间的语义向量，利用嵌入相似度排序，其中神经网络可以较好地用以表示问题和KG成分。这一类方法可以端到端地训练，且有泛化到其他领域的可能，但在多关系问题上表现不是很好。
因此，对于后一类方法，最近的研究工作致力于提高多关系问题上的推理能力。然而还有以下几个挑战：(1) 时间复杂度过高，因为现有的方法对于每个问题都需要用到整个以topic entity为中心的子图，使得候选答案个数以指数级上升。(2) 语义信息太复杂，因为多关系问题中的每一个部分都对三元组选择有各自的影响，故需要在不同步骤里关注问题中的不同部分，而许多现有的方法没有对多关系问题作更进一步的分析，因此表现很差。(3) 需要使用弱监督来训练，因为一步步地分析到底如何回答一个多关系问题是不现实的，这需要大量的数据标注。实际的标注只有最终的答案，因此是弱监督的。有些工作使用外部知识(如Wikipediafree text)来丰富分布式表示，但这种操作不适用于没有外部知识的某些特定领域。
针对以上挑战，本文提出了一个基于强化学习的神经网络模型“Stepwise Reasoning Network (SRN)”。贡献如下：
(1) 针对第一个挑战，SRN将多关系问题的回答形式化为一个顺序决策问题，通过学习一个从topic entity开始，在KG中执行路径搜索的策略来得到一个自然语言问题的答案，并使用beam search在每一步获取三元组列表，因此可以不考虑整个以topic entity为中心的子图，进而显著减少对于一个问题的候选答案。
(2) 针对第二个挑战，SRN使用注意力机制决定当前关注哪一个部分以获取问题中不同部分的独特的信息，在每一步使用对应的单层感知机以强调三元组选择的顺序，使用GRU网络来编码决策历史。
(3) SRN使用REINFORCE算法进行端到端训练。针对第三个挑战，特别是在弱监督、多关系问题的情况下存在的一系列问题，SRN使用基于potential 的reward shaping方法来为agent提供额外的rewards，该方法不会使得agent偏离真正的目标，也不需要外部知识。
(4) 通过实验证明了方法的有效性，在3个benchmark数据集上进行了ablationstudy。