(含源码)「自然语言处理(NLP)」完全数据驱动对话系统&&新型知识感知图网络&&双向专注记忆网络

来源: AINLPer
微信公众号（每日更新...）
编辑: ShuYini
校稿: ShuYini
时间: 2020-08-03

引言： 本次文章主要介绍问答领域的相关知识，其中主要包括完全由数据驱动的生成对话系统GenDS、NLP转SPARQL完成复杂问题问答系统、新型知识感知图网络模块KagNet、门控图神经网络对语义解析的图结构进行编码、BAMnet的新型双向专注记忆网络、实体提及检测和实体歧义消除的联合优化神经架构等。

论文打包获取方式：关注AINLPer 微信公众号（每日更新...）回复：QA008

1、TILE: Flexible End-to-End Dialogue System for Knowledge Grounded Conversation
Author: Wenya Zhu • Kaixiang Mo • Yu Zhang
Paper: https://arxiv.org/pdf/1709.04264v1.pdf
Code: None
论文简述： 在基于知识的会话中，域知识在音乐等特定领域中起着重要作用。基于知识的会话应答可能包含多个应答实体，也可能根本没有应答实体。虽然现有的生成式问答(QA)系统可以应用于基于知识的会话，但它们要么在回答中最多只有一个实体，要么不能处理词汇之外的实体。为此我们提出了一个完全由数据驱动的生成对话系统GenDS，该系统能够基于输入信息和相关知识库(知识库)生成响应。为了生成任意数量的答案实体(即使这些实体从未出现在训练集中)，我们设计了一个动态知识查询器，它根据不同的局部环境在单个响应中的不同位置选择不同的答案实体。它不依赖于实体的表示，这使的我们的模型能够处理词汇表外的实体。我们收集带有知识注释的人类对话数据(ConversMusic)。该方法在CoversMusic和一个公共问答数据集上进行了评价。结果显示，本文提出的GenDS系统在BLEU、实体精度、实体召回率和人工评估方面显著优于基线方法。此外，实验还表明，GenDS即使在小数据集上也能工作得更好。

2、TILE: SPARQL query generation for complex question answering with BERT and BiLSTM-based model
Author: Evseev D. A. • Arkhipov M. Yu.
Paper: http://www.dialog-21.ru/media/4930/evseevdaplusarkhipov-myu-048.pdf
Code: https://github.com/deepmipt/DeepPavlov
论文简述： 本文介绍了基于Wikidata知识库的复杂问题的问答系统。与需要从知识库中提取单个事实的简单问题不同，复杂问题基于不止一个三元组，需要逻辑和比较推理。提出的问答系统将自然语言问题转换为SPARQL语言进行查询，执行该查询会给出一个答案。该系统首先定义了与问题对应的SPARQL查询模板，然后用实体、关系和数值填充模板中的槽模型。实体检测采用基于BERT的序列标记模型。利用BiLSTM和基于BERT的模型，分两步对候选关系进行排序。该模型是LC-QUAD2.0数据集的第一个解决方案，该系统能够回答包含比较或者布尔推理的复杂问题。

3、TILE: KagNet: Knowledge-Aware Graph Networks for Commonsense Reasoning
Author: Bill Yuchen Lin • Xinyue Chen • Jamin Chen
Paper: https://arxiv.org/pdf/1909.02151v1.pdf
Code: https://github.com/INK-USC/KagNet
论文简述： 常识性推理旨在赋予机器以人类能力来对我们日常生活中的一般情况做出假设。在本文中，我们提出了一个回答常识问题的文本推理框架，该框架有效地利用外部的、结构化的常识知识图来执行可解释的推理。该框架首先将一个问答对从语义空间建立到基于知识的符号空间，作为外部知识图的相关子图。该框架使用一个名为KagNet的新型知识感知图网络模块来表示模式图，并最终使用图表示对答案进行评分。我们的模型基于图卷积网络和LSTMs，并带有基于路径的分层注意机制。中间注意分值使其透明、可解释，从而产生可信的推论。使用ConceptNet作为基于BERT的模型的唯一外部资源，我们在CommonsenseQA(用于常识推理的大规模数据集)上取得了最优异的性能结果。

4、TILE: Modeling Semantics with Gated Graph Neural Networks for Knowledge Base Question Answering
Author: Daniil Sorokin • Iryna Gurevych
Paper: https://www.aclweb.org/anthology/C18-1280.pdf
Code: https://github.com/UKPLab/coling2018-graph-neural-networks-question-answering
论文简述： 基于语义分析的知识库问答方法是目前最常用的方法。在本文中，我们解决了学习由多个实体和关系组成的复杂语义分析的向量表示的问题。先前的工作主要集中在为问题选择正确的语义关系上，而忽略了语义解析的结构：实体之间的联系和关系的方向。 本文提出使用门控图神经网络对语义解析的图结构进行编码。 我们在两个数据集上进行实验室对比表明，图网络优于未对结构进行显式建模的所有基线模型。 错误分析证实了本文方法可以成功处理复杂的语义解析。

5、TILE: Neural Machine Translation for Query Construction and Composition
Author: Tommaso Soru • Edgard Marx • André Valdestilhas
Paper: https://arxiv.org/pdf/1806.10478v2.pdf
Code: https://github.com/LiberAI/NSpM
论文简述： 在研究基于知识库问答的过程中，近年来越来越多地使用深度学习架构。本文研究了神经机器翻译范式在问题解析中的应用，使用一个序列到序列的模型来学习SPARQL图查询语言中的图模式及其组成。我们希望是一种半监督的方法，即通过模板建立问题和查询之间的对齐，而不是通过问答对来控制程序。

6、TILE: Bidirectional Attentive Memory Networks for Question Answering over Knowledge Bases
Author: Yu Chen • Lingfei Wu • Mohammed J. Zaki
Paper: https://arxiv.org/pdf/1903.02188v3.pdf
Code: https://github.com/hugochan/BAMnet
论文简述： 在回答基于知识库(KBs)的自然语言问题时，不同的问题组件和知识库扮演着不同的角色。然而，大多数现有的基于嵌入的知识库问答方法(KBQA)忽略了问题和知识库之间微妙的相互关系(例如，实体类型、关系路径和上下文)。在这项工作中，我们提出通过一种叫做BAMnet的新型双向专注记忆网络，它可以直接模拟问题与知识库之间的双向交互流。在WebQuestions基准测试中，我们的方法不需要外部资源，只需要很少的手工特性，其实验结果显著优于现有的基于信息检索的方法，并与(手工)基于语义解析的方法不相上下。此外，由于我们使用注意机制，我们的方法比其他基线提供更好的可解释性。

7、TILE: Mixing Context Granularities for Improved Entity Linking on Question Answering Data across Entity Categories
Author: Daniil Sorokin • Iryna Gurevych
Paper: https://arxiv.org/pdf/1804.08460v1.pdf
Code: https://github.com/UKPLab/starsem2018-entity-linking
论文简述： 每一种知识库问答方法的第一阶段都是对输入问题中的实体进行链接。我们研究了问答任务上下文中的实体链接，并提出了一种针对实体提及检测和实体歧义消除的联合优化神经架构，该架构主要是在不同级别的颗粒度上对周围的上下文进行建模。我们使用Wikidata知识库和可用的回答问题数据集来为问答数据的实体链接创建基准。在这个数据上，我们的方法比以前的最先进的系统表现更好，最终的分数平均提高了8%。

8、TILE: Learning Representation Mapping for Relation Detection in Knowledge Base Question Answering
Author: Peng Wu • Shujian Huang • Rongxiang Weng
Paper: https://arxiv.org/pdf/1907.07328v1.pdf
Code: https://github.com/wudapeng268/KBQA-Adapter
论文简述： 关系检测是包括知识库问答在内的许多自然语言处理应用中的核心步骤。之前的研究表明，单事实问题可以得到高精度的回答。然而，一个关键问题是，当前方法仅能对在训练数据中已发现其关系的问题获得较高的准确性。但对于看不见的关系，表现将迅速下降。造成这一问题的主要原因是，看不见关系的表示丢失了。本文提出了一种简单的映射方法，即表示适配器，在已有的关系嵌入的基础上学习可见关系和不可见关系的表示映射。我们利用对抗性和重构目标来提高映射性能。我们重新整理了SimpleQuestion数据集来揭示和评估检测不可见关系的问题。实验结果表明，该方法在保证所看到部分性能与现有算法相当的情况下，可以大大提高不可见关系的性能。

Attention

更多自然语言处理相关知识，还请关注AINLPer公众号，极品干货即刻送达。