文本生成论文阅读 Knowledge-based Review Generation by Coherence Enhanced Text Planning

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

提示：这里可以添加本文要记录的大概内容：

基于知识图谱的增强连贯性文本规划的评论生成。为了丰富文本内容，现有的解决方案通常从知识图谱中学习如何复制实体或三元组。然而，这些方法对如何选择和安排知识图谱缺乏整体的考虑，容易造成文本不连贯问题。为了解决上述问题，作者以实体为中心，利用知识图谱的语义结构提高生成评论文本的连贯性 。

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、知识图谱

知识图谱本身是一种离散的图数据，可能并不适合于深度学习/表示学习。为了将知识图谱用于深度学习任务，我们首先需要进行低维的向量化表示。其中 TransE 是一种经典的知识图谱表示方法，即「头实体+关系向量」应该与尾实体的向量尽可能接近。此外，我们可以把知识图谱三元组的关系看成一种语义匹配，即头实体和尾实体在某种关系上的相似度很高。
对于无关系图，图神经网络会将某节点的信息传播出去，并聚合各邻居节点的信息，形成新的节点表示。对于有关系图，以 RGCN 为例，相较于普通的 GCN，聚合邻居节点的信息时需要区分不同的关系，每一次传播时的信息都来自与当前节点具有各种不同的关系的邻居节点。此外，我们需要赋予不同消息来源不同的权重矩阵。

二、模型框架

本文提出了一种基于知识图谱的增强连贯性文本规划模型(CETP)，以提高生成评论文本的全局连贯性和局部连贯性。模型学习生成两个阶段的文本规划：
(1)文档规划为一个句子规划序列；
(2)每个句子规划是一个基于实体的知识图谱子图。
局部连贯性可以通过子图上实体与实体间的句内关系实现。对于全局连贯性，设计了一个层次自注意架构，学习子图在节点级和子图级的关系，以增强子图之间的全局连贯性。

在好的回复内容中，会存在较为明显的层次特性。因此，实现内容一致性需要对回复的结构进行良好的规划。然而，在训练语料不足的情况下，我们很难自动地学习到这种结构化信息。所以我们考虑引入知识信息帮助我们规划回复内容的纲要。

借助知识图谱中的结构化语义，生成句子的纲要，进一步生成句子中具体内容的纲要。要想实现内容一致性，必须对文本的结构进行很好的规划，确保每一句的内容对应相应的事实。换言之，试图生成多样化的纲要，并且利用频繁模式挖掘等手段，针对具体的文本生成任务向有待填充的部分填入具体的实体。在生成了句子的小结构后，向图中纳入了与实体评分共现的词，从而生成句子的纲要。

在这里作者使用 Graph transformer 对图进行编码，基于多头注意力机制，对给定的两个节点之间的关系路径进行了编码，从而很好地对句子进行规划。在生成了清晰并具有一定信息量的句子后，我们需要考虑如何合理地对句子内部的内容进行规划。
为此，我们就设计了一种文本规划模型，基于前一句已经生成的句子，来规划下一个句子内容的纲要。我们可以将每个句子的框架视为一个子图，并为其设计基于子图的编码器，令子图与子图之间进行交互，且子图内部的词之间也存在交互。
分析真实评论中的各种纲要的分布。相较于对比基线，作者提出的方法的纲要的分布与标准答案的分布差距更小。
参考：人大赵鑫：基于图神经网络，建模知识图谱

总结

目前对自己的方向还是不清晰，感觉还是使用关键词增强文本的连贯性比较适合我，也有可能本篇论文我读的不是很懂。总而言之，对于评论生成而言，一旦我们需要在多句文本生成过程中考虑事实信息，就会大大提升任务的难度。