论文浅尝 | 基于知识图谱难度可控的多跳问题生成

论文笔记整理:谭亦鸣,东南大学博士生,研究兴趣:知识图谱问答。


      论文浅尝 | 基于知识图谱难度可控的多跳问题生成_第1张图片

来源:ISWC 2019

链接:https://link.springer.com/content/pdf/10.1007%2F978-3-030-30793-6_22.pdf

 

本文提出一个end2end神经网络模型以知识图谱为数据源,自动生成复杂的多跳问题,且问题难度是可控的。该模型以一个子图(来自知识图谱)及预设的问题答案为输入,利用基于transformer的模型生成自然语言问题。问题难度的控制因子基于命名实体的popularity指标构建得到。实验方面,利用现有的两个2-hops问答数据集,构建训练/测试数据得到的实验结果验证了该模型可以生成高质量,流利,且与输入子图密切相关的自然语言问题。

相关数据集和源码链接传送门:https://github.com/liyuanfang/mhqg.

动机

目前最好的KG QA模型基于神经网络建立,这种数据驱动的模型需要大量的训练数据,包括知识图谱中的三元组集,问题集以及对应的答案数据。为了迎合这种数据需求,近些年来,很多问答数据集被构建出来,包括简单的Single-hop信息的问题,以及更复杂信息的问题。其中复杂问题数据集又大体可以分为两类:多跳推理或者离散型推理问题。

但是,随着上述数据集被充分利用之后,模型性能的进一步提升又受到了数据集规模的限制,虽然这对Single-hop问答没什么影响,其性能在实验数据上已经媲美人类问答水平(Single-hop问题难度并不高),对于复杂问题则不然,其依然需要更多高质量的问答数据集提升模型的质量。显然复杂问题相对简单问题数据的建立难度更高,大部分现有的复杂问题都是基于人工或半自动的方式得到。

因此本文拟利用现有的复杂问题集作为训练数据(包含问题子图,对应的自然语言问题reference以及答案,来自COMPLEXWEBQUESTIONS及PathQuestion数据集),例1描述了这些数据的形式:

       论文浅尝 | 基于知识图谱难度可控的多跳问题生成_第2张图片      

       论文浅尝 | 基于知识图谱难度可控的多跳问题生成_第3张图片      

方法

本文将基于知识图谱的问题生成任务看作一个Seq2Seq学习问题:

假定背景知识(图谱)为G,其中包含一系列三元组事实,给定一个子图g(来自G),及n个三元组,EA表示三元组中的答案实体(可能不唯一,建例1的第二张图),模型将会生成一个自然语言问题Q = (w1,…,wm),生成过程可以描述如下:

       论文浅尝 | 基于知识图谱难度可控的多跳问题生成_第4张图片      

θ表示模型参数

模型的框架如下图所示:

       论文浅尝 | 基于知识图谱难度可控的多跳问题生成_第5张图片      

这个框架整体还是类Transformer结构,主体分为编码和解码两个部分,相关网络细节就不多赘述。

关于知识图谱编码

对于子图g,编码器以其embedding作为输入(对g中的三元组做embedding),令d_e表示实体/关系的embedding维度,d_g 表示三元组embedding的维度

初始化阶段,三元组的embedding由主体,谓词,客体的embedding拼接,加之其余值随机初始化以匹配三元组的embedding维度

每个E_A答案实体还被embedding到一个d_e维的向量中,通过一个多层感知机学习该实体是否是一个答案实体。

接着对答案embedding和原始实体embedding做元素加法以获得最终对每个答案实体的embedding

因此,对于包含n个三元组的子图g,可以表示为一个n×d_g矩阵G,以该矩阵为输入,Transformer 编码器将其映射为一个连续表示序列Z = (z1,…,zn)∈R^{n×dg}

令Q,K,V分别表示编码器中的query,key和value矩阵,给定输入G,使用query矩阵对相关的三元组做软筛选(soft select)并积累Attention,公式如下:

             

其中,KT为K的转置      均为可训练模型参数

为了获得不同三元组在不同表示子空间的信息,作者使用包含k个head的Multi-head attention,并汇总它们如下:

             

其中,   ,      

汇总后的输出x被传递到一个前馈网络,如下:

             

关于难度评价模型

本文主要提到了两个衡量难度的因素:问题中实体链接的confidence;子图中实体的selectivity

前者指的是对问题做命名实体识别时,具有较高confidence的实体识别一般具有较小的ambiguity,这使得子图很容易理解所问的目标实体,且生成的问题也更易于回答。

后者指的是识别完实体后图谱中可匹配的实体的候选数量,当候选实体较多时,意味具有更低的selectivity,这表示问题所问的内容具有较高的模糊性,也就更难。

基于此,作者构建了难度评价模型如下:

       论文浅尝 | 基于知识图谱难度可控的多跳问题生成_第6张图片      

其中G和q分别表示子图和问题,Con表示confidence,Sel表示selectivity,该难度得分被标准化到[0,1]之间。考虑单靠得分不具备明确的区分度,比如想生成较难的问题该怎么定义阈值,因此作者随机抽取了200个简单例子做难度测量,最终取其得到的最高值作为阈值。

 

关于带有难度控制因子的解码

本文利用一个多层感知机DE将难度信息编码进解码器,其由输入线性层,整流线性单元层和输出线性层构成。公式如下:

             

其中,x表示难度level,W和b是可训练的模型参数。

实验

数据集相关

实验使用到了三个多跳问题集:

WebQuestionsSP,ComplexWebQuestions,PathQuestion

对于每个实例,WebQuestionsSP,ComplexWebQuestions都包含自然语言问题,SPARQ query及答案实体和一些辅助信息

PathQuestion相对上述数据集缺少了实体对应知识库(Freebase)的ID,因此处理方式稍有不同。

数据集统计信息如下表:

       论文浅尝 | 基于知识图谱难度可控的多跳问题生成_第7张图片      

作者对其实验细节在文章中做了详细描述,有需要可以去瞅瞅

 

实验结果

       论文浅尝 | 基于知识图谱难度可控的多跳问题生成_第8张图片      

由于是自然语言生成类的任务,这里使用的评价指标均为翻译常用的自动评价指标BLEU,METEOR等

 同时,作者也提供了人工评价结果如下:

       论文浅尝 | 基于知识图谱难度可控的多跳问题生成_第9张图片      


 

OpenKG

开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文,进入 OpenKG 博客。

你可能感兴趣的:(论文浅尝 | 基于知识图谱难度可控的多跳问题生成)