「自然语言处理(NLP)」CQG增强动态推理网络（含源码）

来源：AINLPer微信公众号
编辑: ShuYini
校稿: ShuYini
时间: 2019-8-16

引言

    两篇文章为大家介绍，第一篇针对会话问题产生，提出一种新的增强动态推理网络，该网络基于一般的编解码器动态的集成了一个推理过程，使得该网络可以更好地理解文章中提出的问题和接下来要问的问题。第二篇主要针对当前语义解释器直接将输入句子转换成逻辑形式的问题，提出使用生产验证框架来决此问题的方法，并且该方法性能比最先进的高出7.93%。

First Blood

TILE: Reinforced Dynamic Reasoning for Conversational Question Generation
Contributor : 浙江大学 && 俄亥俄州立大学
Paper: https://arxiv.org/pdf/1907.12667v1.pdf
Code: https://github.com/ZJULearning/ReDR

文章摘要

    会话问题产生（CQG）是开发智能代理的关键，它可以驱动问答式对话或测试用户对给定段落的理解。为此，我们提出了一种新的增强动态推理(ReDR)网络，该网络基于一般的编解码器框架，并以动态的方式集成了一个推理过程，以更好地理解文章中提出的问题和接下来要问的问题。为了鼓励产生有意义的问题，我们利用一个流行的问题回答(QA)模型来提供反馈，并使用强化学习机制对问题生成器进行微调。

本文三大看点

    1、提出了一种新的会话问题生成(CQG)任务，该任务对于开发智能代理来驱动问答式会话至关重要，并可能为未来相关研究提供有价值的数据集。
    2、提出了一个新的有效的CQG框架，它配备了一个动态推理组件来生成会话问题，并通过强化学习机制进行了进一步的微调。
    3、使用最新的CoQA数据集验证我们方法的有效性。此外，我们还使用它来创建多轮的QA会话，以显示其广泛的适用性。

网络模型介绍

    增强动态推理(ReDR)网络架构。

    由于一个完成的段落太长,很难专注于在最相关信息下生成一个问题,我们的方法：是首先从文章中选择一个文本跨度作为每个会话转折点，然后在最终解码下一个问题之前，动态的为编码会话历史以及选择的基本理论建模。其中推理机制迭代地读取会话历史，在每次迭代中，它的输出通过一个软决策者(pd)作为新的编码表示动态地与之前的编码表示相结合，并将其反馈到下一个迭代中。最后，通过由QA模型预测的答案的质量所定义的奖励对模型进行微调。

试验结果

    CoQA数据集上各种模型的性能比较

    人工评价结果

    CoQA数据集中生成问题和人工注释问题统计对比

    基于CoQA数据集，模型生成问题和人工问题生成样例

Double Kill

TILE: A Generate-Validate Approach to Answering Questions about Qualitative
Relationships
Contributor : Arizona State University（亚利桑那州立大学）
Paper: https://arxiv.org/pdf/1908.03645v1.pdf
Code: None

文章摘要

    最近提出了一个涉及定性关系的问题回答数据集，并探索了几种回答此类问题的方法，其核心依赖语义解释器将自然语言输入转换为合适逻辑形式。现有语义解释器的一个问题是，它们试图直接将输入的句子转换成逻辑形式。由于输出语言随应用程序的不同而不同，它迫使语义解析器从头开始学习几乎所有内容。在本文中,提出应用生成验证框架，生成逻辑形式的自然语言描述，并验证输入文本是否遵循自然语言描述，我们得到了一个更好的学习范围，我们的方法性能比最先进高出7.93%。

本文两大看点

    1、指出了如何应用生成验证框架来解决Quarel的定性单词问题；
    2、我们通过实验表明，现有的自然语言推理数据集，即snli和像bert这样的预先训练的模型，可以显著提高Quarel的性能，而不是直接生成逻辑形式，语义分析是通过生成验证来完成的。 本文方法的精度为76.63%，比Quasp+模型高7.93%，比Quasp模型高20.53%。

方法介绍

    1、生成： 所有可能的基于QVAL谓词的自然语言描述集，其中一些是给定的事实、ClaimA和ClaimB。
    2、验证：步骤2的目标是准确地确定中的哪个陈述是ClaimA，哪个陈述属于ClaimB，哪个陈述代表给定的事实。 为此，系统使用两个不同的文本包含函数对中的语句进行评分。
    3、使用步骤2中计算的分数计算最终答案。。

实验结果

    在QUAREL训练集和测试集上选择不同和得到的准确率对比。

    将我们的最佳模型与现有的Quarel解析器进行比较 。

ACED

Attention

更多自然语言处理相关知识，还请关注AINLPer公众号，极品干货即刻送达。