文本生成论文阅读Enhancing Topic-to-Essay Generation with External Commonsense Knowledge

读读论文吧，明天是周一也是新的一天，加油奥利给。

---

前言

TEG任务是指给定 topic 集合，生成主题相关、段落集的文本。过去的任务忽略了常识知识，本文通过动态记忆机制将外部知识库中的常识集成到生成器中。 因为来源信息的极度不足可能会使生成的文章在新颖性和主题一致性方面质量低下。所以在这篇论文中精心设计了一个记忆增强神经模型，有效地融合了常识性知识。 其动机是来自外部知识库的常识可以提供额外的背景信息。

一、主要贡献

主要贡献有以下两点
1.我们提出了一个带有对抗性训练的记忆增强神经模型，将外部常识知识集成到主题论文生成中。
2.我们开发了一系列自动评估指标，以全面评估生成文章的质量。

二、模型框架

常识通过动态记忆机制集成到生成器中。 在解码阶段，该模型可以关注每个词的信息最丰富的记忆概念。 同时，动态地更新记忆矩阵以包含生成的文本的信息。 这种记忆和生成的文本之间的相互作用有助于主题的连贯转换。 为了提高主题一致性，作者采用了基于多标签鉴别器的对抗性训练。 判别信号可以综合评估输出对给定主题的覆盖程度，使得生成的论文更加紧密地围绕所有输入主题的语义。

模型对抗性训练来交替训练生成器和鉴别器。编码器使用LSTM,其目的是集成主题信息。 它从两个方向读取输入的主题序列X，并计算每个主题的隐藏状态。解码器配备了一个记忆机制，以有效地整合常识知识。动态记忆机制使记忆与生成文本之间的相互作用，有助于生成短文中主题的连贯转换。由 Highway network 启发，应用一个门控机制去确定 i-th 记忆条目要被更新多少，动态更新使得记忆和生成的文本之间有了交互。
引入鉴别器D来评价输入主题与生成的文章之间的主题一致性，进一步提高了文本质量。
模型评估从新颖、多样、一致性三方面评估，评估方法分为自动评估和人力评估。

三、新知

1.比较有意思的是作者这里也采用了一种消融研究：没有对抗性训练，没有记忆机制，没有动态更新。来体现该模型的优越性。消融研究表明对抗训练和动态记忆机制都有助于提高输出质量。 然而，一个有趣的发现是，对抗训练和记忆机制侧重于改善模型的不同方面。通过这个也表明外部的常识知识，可以丰富信息，导致输出更加新颖多样。
2.还有一点就是在本篇论文当中作者将对抗学习与深度学习结合起来，模型的效果较之前人更好。
参考知乎大佬解读

总结