Strong Baselines for Simple Question Answering over Knowledge Graphs with and without Neural Network

标签(空格分隔): 自然语言处理


简介

  • 在简单的神经网络上就能达到较好的效果
  • 即使不用神经网络,也能达到较好的效果

相关工作

  • 一开始的时候人们会把简单问句简化成一个结构化的问句
  • 最近的一个数据集已经成为了知识图谱上的问答基线
  • 本文并不认为人们已经充分探索了baseline

方法论

  • 本文将QA问题分为四个部分:实体识别、实体链接、关系预测、证据整合

  • github:https://github.com/castorini/BuboQA

实体识别

  • 只用到了双向LSTM和GRU+词向量
  • 没有加CRF
  • 还采用了只用CRF的方法(没有加神父学习)

实体链接

  • 没有用神经网络,用模糊字符串匹配
  • 用到了ngram的倒排索引

关系预测

  • 将关系预测归类为分类问题
  • RNN
  • CNN
  • logistic regression

证据整合

实验与结果

  • 每部分分开做的

  • 实体识别

    • BILSTM 93.1
    • CRF 90.2
  • 实体链接

    • 在不同的实体识别方法下的实体链接效果
    • 实体链接有长尾现象,所以会有准确率的阻碍
    • 同一标签下的实体很难

Strong Baselines for Simple Question Answering over Knowledge Graphs with and without Neural Network_第1张图片

  • 关系预测
    • CNN最好

Strong Baselines for Simple Question Answering over Knowledge Graphs with and without Neural Network_第2张图片

  • 整体观察
    • BILSTM + BIGRU最好
    • CRF + BIGRU下降很少准确率
    • CRF + LR也不错

Strong Baselines for Simple Question Answering over Knowledge Graphs with and without Neural Network_第3张图片

结论

  • 首先,至少对于简单的QA而不是知识图的任务,在我们急于探索复杂的深度学习技术时,我们还没有以严谨的方式充分研究简单,强大的基线

  • 非神经网络方法值得考虑,深度学习很好,但很可能没那么好

  • 我们忘记了科学的目标是知识而不是排名第一

你可能感兴趣的:(自然语言处理)