KBQA 知识库问答领域研究综述(未完待续。。)

论文终于提交了,心情非常激动。。从去年9月开始做知识库问答到现在,总算是可以告一段落了。从前期的调研,到11月份艰难地复现别人的论文,12月1月看论文调模型,中间几近放弃。。3.9又重新开始跑模型,3.19开始写论文,到今天全部完成,深刻地体会到科研的道路真是道阻且长。趁着对KBQA的浅薄理解,在这里做个总结吧。


从开这个坑到现在已经十天过去了。。今天终于有时间来把坑填上。
这期间把论文放到了arxiv,没想到没几天时间就有很多人发邮件来要源码要数据。。看来知识库问答最近真是太火了。
这篇综述不谈我的工作,只讲我的参考文献的工作。


Overview

我在 各类QA问答系统的总结与技术实现 中已经简要地介绍过解决KBQA的三种方法:语义解析、信息抽取、向量建模。前两种方法偏向于传统NLP的句法、语法分析,需要人工构建特征,效果较单纯的向量建模方法要好。而这几个方向都有结合深度学习的方法提出,其中语义解析+深度学习在WebQuestion数据集上达到了最高的F1score。根据近几年这一领域的论文效果,我做了一个对比图:
KBQA 知识库问答领域研究综述(未完待续。。)_第1张图片
这里主要关注WebQuestion和SimpleQuestion这两个数据集。这两个数据集均是基于Freebase构建的,其中WebQuestion是Stanford在2013年的论文 Semantic Parsing on Freebase from Question-Answer Pairs 中提出,其中包含了5,810 条问答对。SimpleQuestion由Facebook在2015年的论文 Large-scale Simple Question Answering with Memory Networks 中开放,包含了10w多条问答对,但是只包括简单问题:由一条三元组就可以回答的问题,也叫single-relation问题。
从图中可以看到,向量建模+深度学习的方法在WebQuestion数据集上的表现差强人意,远达不到语义解析的效果;而语义解析结合深度学习能够有很大的提升。这表明目前还没有很好的方法只通过向量建模这种端到端的方法来解决较为复杂的问题,尤其是涉及到知识库中多条路径的,毕竟这种方法把问题简单化,不再提取特征,而是直接丢到模型里去学习。因此大多数深度学习的研究者都更关注于简单问题,也就是SimpleQuestion这一数据集,在该数据集上的研究基本都使用向量建模+深度学习的方法。大家的思路是,我先用深度学习把简单问题解决好,再想办法扩展到复杂问题上。虽然各有各的建模方法,从不同的角度各自都有不同的解释,但宏观上来看其实都大同小异。
这里主要介绍几种基于深度学习的向量建模方法。对于复杂问题和简单问题,解决问题的思路还是有些区别的。

复杂问题

Multi-Colunm CNN 2015

Question Answering over Freebase with Multi-Colunm Convolutional Neural Network

Cross-Attention 2016

An End-to-End Model for Question Answering over Knowledge Base with Cross-Attention Combining Global

简单问题

CFO 2016

CFO: Conditional Focused Neural Question Answering with Large-scale Knowledge Bases
源码:https://github.com/zihangdai/cfo

Character-Level with attention 2016

Character-Level Question Answering with Attention
源码:https://github.com/davidgolub/SimpleQA

AMPCNN 2016

Simple Question Answering by Attentive Convolutional Neural Network
源码:https://github.com/yinwenpeng/KBQA_IBM_New/tree/master/src

Word + Character Level 2017

Neural Network-based Question Answering over Knowledge Graphs on Word and Character Level
源码:https://github.com/WDAqua/teafacto

HR-BiLSTM 2017

Improved Neural Relation Detection for Knowledge Base Question Answering

你可能感兴趣的:(nlp,深度学习)