机器阅读理解之开山鼻祖Teaching Machines to Read and Comprehend

原文链接:Teaching Machines to Read and Comprehend

数据的构建

  • 命名实体替换

例子:The BBC will be closed

将BBC替换成一个entity的标志,比如e01。

之后去预测这个entity是哪个。

构建了CNN和Daily Mail语料库:实体类,答案在原文中。不适用与训练答案推理型的问题。

模型架构

用两层的LSTM去编码原文问题

机器阅读理解之开山鼻祖Teaching Machines to Read and Comprehend_第1张图片

Attentive Reader

左边对应的是原文的矩阵。
右边对应的是问题矩阵。
机器阅读理解之开山鼻祖Teaching Machines to Read and Comprehend_第2张图片
机器阅读理解之开山鼻祖Teaching Machines to Read and Comprehend_第3张图片
image-20211021155241293

Impatient Reader

机器阅读理解之开山鼻祖Teaching Machines to Read and Comprehend_第4张图片
image-20211021155257407
image-20211021155315967

效果

贡献

  • 阅读理解一维匹配模型和二维匹配模型的开山鼻祖

    • 一维匹配模型:问题编码固定长度的向量,计算文档 D 每个词在特定问题上下文向量中作为答案的概率;
    • 二维匹配模型:问题 Q 每一个词编码,计算文档 Q 中每一个词对 D 中每一个词的注意力,形成词 - 词的二维匹配结构,模型效果要稍优于一维匹配模型。
  • 构建了问题与数据集

你可能感兴趣的:(NLP,文献笔记,nlp)