深度学习神经网络学习笔记-自然语言处理方向-论文研读-阅读理解-NLP-MRC

概念引入

有关中文实体命名识别
逻辑回归
线性回归
时间序列分析
神经网络
self-attention与softmax的推导
word2evc
glove
双向LSTM

机器阅读理解的简要介绍

在2002年的一篇论文中，学者C. Snow将阅读理解定义为“通过互动从书面文本中提取和构建文本语义的过程”。机器阅读理解的目标是利用人工智能技术使计算机具有与人类一样的理解文本的能力。

大部分机器阅读理解任务采用问答式测评：设计与文章内容相关的自然语言式问题，让模型理解问题并根据文章作答。为了评判答案的正确性，一般有如下几种形式的参考答案：

• 多项选择式，即模型需要从给定的若干选项中选出正确答案；
• 区间答案式，即答案限定是文章的一个子句，需要模型在文章中标明正确的答案起始位置和终止位置；
• 自由回答式，即不限定模型生成答案的形式，允许模型自由生成语句；
• 完形填空式，即在原文中除去若干关键词，需要模型填入正确单词或短语。
  此外，一些数据集设计了“无答案”问题，即一个问题可能在文章中没有合适答案，需要模型输出“无法回答”（unanswerable）。

在以上的答案形式中，多项选择和完形填空属于客观类答案，测评时可以将模型答案直接与正确答案比较，并以准确率作为评测标准，易于计算。

论文研究背景

机器阅读理解（Machine Reading Comprehension，MRC）是一种利用算法使计算机理解文章语义并回答相关问题的技术。由于文章和问题均采用人类语言的形式，因此机器阅读理解属于自然语言处理（NLP）的范畴，也是其中最新最热门的课题之一。近些年来，随着机器学习，特别是深度学习的发展，机器阅读理解研究有了长足的进步，并在实际应用中崭露头角。

让机器阅读文本，理解文本语义，是实现自然语言理解的重要一步。
具有极其重要的研究意义，这是年来机器阅读理解任务备受关注的原因。

机器阅读理解是综合性的问题: 语言、知识、推理 。
依赖于分词、词性标注、命名实体识别和依存关系分析等自然 感知智能 听觉、视觉、触觉 。
语言处理的基础工作; 运算智能 、又可以与机器翻译、情感识别以及信息抽取等技术思想互相借鉴，促进整个自然语言处理领域的发展。具有广阔的应用前景。

相关数据集的时间脉络

问答系统的分类

根据目标数据源的不同分类：

• 检索式问答
  以检索和答案抽取为基本过程
  基于模式匹配和基于统计文本信息；
• 社区问答：基于用户生成内容的互联网服务
• 单（多）篇文本问答：阅读理解式问答
  信息源限定：从一篇或多篇给定的文章中查找问题的答案；
  要求回答一些(非)事实性的、高度抽象的、需要对语言理解问题；

研究成果

基于摘要的思想，本文将摘要中的CNN dailymail数据集转换为实体替换后的完形填空任务。
首次提出了大规模数据集，如图所示。在此基础上，提出了三种基本的神经网络模型

具体例子

实验结果