【IJCAI2019】Learning to Select Knowledge for Response Generation in Dialog Systems

p7 in 2019/12/13

论文名称：Learning to Select Knowledge for Response Generation in Dialog Systems
… … … ：
论文作者：Rongzhong Lian, Min Xie, Fan Wang, Jinhua Peng, Hua Wu
论文来源：IJCAI2019
下载链接：https://arxiv.org/abs/1902.04911?context=cs.CL
源码链接：https://github.com/ifr2/PostKS(未完成)
参考笔记：https://mp.weixin.qq.com/s/dqv95t-1o-1ewojIKP8jPg

本文则更侧重于知识特征，强调利用后验知识分布优化对话生成。

Abstract

• 以前的方法：简单用先验选择的知识用于训练过程。
• 以前的不足：知识不匹配回复（response），生成模型无法学会去正确地利用知识，回复的效果就会下降。
• 本文的方法：分割训练和预测时知识的选择过程，利用知识的先验分布和后验分布来促进知识的选择，对知识的后验分配是由训练过程中的响应和结果推断出来的。同时，利用先验分布近似后验分布，使推理过程中即使没有响应也能选择合适的知识边缘。
• 本文的贡献：1）清晰地阐述了基于知识的对话生成中，先验分布和后验分布在知识上的差异；2）提出了一种知识选择机制：将后验分布与先验分布分离的神经模型。

Model

图1 模型的示意图

模型由4个部分组成：

1. the utterance encoder：上文独立编码表示成向量。
2. the knowledge encoder：知识独立编码表示成向量。
3. the knowledge manager：知识管理，包含两个子模块：先验知识模块（PriorKS）和后验知识模块（PostKS）。
   PriorKS，input：上文；output：对于knowledge的attention。
   PostKS，input：上文+response；output：对于knowledge的attention。
4. the decoder：基于知识选择和上文的注意力机制生成响应

2.2 Encoder

utterance encoder和knowledge encoder都是采用同样的结构（BiGRU），但是她们之间不共享参数。

2.3 Knowledge Manager

图2 知识管理和损失函数

PriorKS：基于知识的条件概率分布p(k|x)：

PostKS：基于知识的后验分布p(k|x,y)

MLP(.)是全连接层。 Gumbel-Softmax再参数化，对知识采样。
KLDivLoss：（Kullback-Leibler divergence loss），该loss是先验选择和后验选择之间的KL-Divergence, 目标是为了拉近先验选择和后验选择的距离，使得先验训练更准确。

2.4 Decoder

• 标准GRU的“硬”解码器：
  
• 带有分层门控融合单元的“软”解码器：
  
  

2.5 Loss Function

• NLL Loss： 用于训练生成网络的常用Loss。
  
• BOW Loss： 利用选择的知识来预测response的Bag-of-words的表示向量。这个Loss能够有效地加速后验选择的训练速度，借鉴了CVAE中用于加速recognition network训练的思路。
  
• 

Experiments

数据集： PersonChat和Wizard of Wikipedia
评估指标： BLEU、Distinct、Knowledge-F1
基准模型： Seq2Seq、MemNet、Lost In Conversation(LIC)
表2 模型人工和自动评测指标

表3 具体Case展示

表4 PostKS在LIC模型上的表现

References

• [Dinan et al., 2018] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledge-powered conversational agents. arXiv preprint arXiv:1811.01241, 2018.
• [Dinan et al., 2019] Emily Dinan, Varvara Logacheva, Valentin Malykh, Alexander Miller, Kurt Shuster, Jack Urbanek, Douwe Kiela, Arthur Szlam, Iulian Serban, Ryan Lowe, et al. The second conversational intelligence challenge. arXiv preprint arXiv:1902.00098, 2019.
• [Ghazvininejad et al., 2018] Marjan Ghazvininejad, Chris Brockett, Ming-Wei Chang, Bill Dolan, Jianfeng Gao, Wen-tau Yih, and Michel Galley. A knowledge-grounded neural conversation model. In Thirty-Second AAAI Conference on Artificial Intelligence, 2018.