文本生成论文阅读Sequence to Backward and Forward Sequences: A Content-Introducing Approach to

普通的seq2seq生成的内容，其实没有办法把控生成的语义信息。通过增加关键词信息，用关键词去影响生成回复的语义。使用关键词作为硬约束，即关键词一定出现在生成文本中提示。

---

前言

最近读的论文全是关于seq2seq优化的 只希望 我能坚持下去 并且一鼓作气
seq2seq在文本生成领域是一个很常见的模型，但是也存在很多的问题，本篇论文致力于解决常见的问题：对话模型倾向于生成安全，普遍又或者不相关的回答，本篇通过两步缓解了上述问题。第一，预测关键字（不涉及语义以及语法），预测的关键字一定出现在生成文本中；第二，使用改进模型seq2BF，生成包含关键字的回答。

提示：以下是本篇论文我的一些想法 加油奥 寻欢桑

一、使用PMI预测关键字

1.PMI定义

PMI(pointwise mutual information)点互信息，就是衡量两个事物之间的相关性，使用PMI的好处在于，从统计的角度发现词语共现的情况来分析出词语是否存在语义相关，或者主题相关的情况。

2.PMI计算方法

PMI越大 则代表相关性越大。
通过PMI预测一个关键词，即反应回复主要内容的名词，关键词候选词进一步被限制为名词。

二、seq2BF模型

1.改进方法

第一步 使用PMI预测关键词
第二步：根据关键字和查询生成一个回复
以关键字为划分，一个正向序列一个反向序列，该模型预测字不在局限于只能顺序输入，预测的关键字就可以出现在生成的答复中的任意位置。给Seq2BF提供一个具体的关键字，它提供了大量的内容。

2.使用到的的模型方法

在人工评估以及熵度量方面明显优于传统的seq2seq模型。（没有使用传统的BLEU方法 ）
模型第二步的RNN不共享参数，因为他们彼此之间的差异很大。传统的方法使用顺序贪婪或则波速搜索进行预测，这种方法是搜观察的启发，只能从头说到尾，而改进后的模型可以使预测的关键字出现在生成文本的任意位置。
在神经网络中，训练是一个非常重要的步骤，而我们改进后的模型可以再没有附加标签的情况下进行训练。
反向序列生成器需要从拆分词开始的“一半”回复作为训练数据，我们不能用一个完全真实的句子来训练模型。
我们随机抽取回复中的一个词作为拆分词，取前半部分，颠倒其语序； 这样，我们就获得了后向序列发生器的训练数据。 前向序列生成器本质上是从查询到应答的SEQ2SEQ编码器和解码器。

---

总结

内容引入在生成式人机对话系统中非常有用。
缺点还是没有考虑到上下文信息所以不适用于多轮对话。