AAAI 2019 | 采用聚类集束搜索机制的知识对话系统

DSTC7 Track 2「Sentence Generation」任务要求基于 Fact 和对话历史自动生成回答。该任务它要求利用端到端的对话系统自动读取 Fact。这就像使对话系统具备阅读理解的能力,能够基于 Fact 产生正确的答案。文章《Cluster-based Beam Search for Pointer-Generator Chatbot Grounded by Knowledge》以pointer-generator为基础,在解码时采用了聚类集束搜索机制,提高了模型生成句子的丰富性,在DSTC7中拿下Sentence Generation任务冠军。

AAAI 2019 | 采用聚类集束搜索机制的知识对话系统_第1张图片

论文地址:

http://workshop.colips.org/dstc7/papers/03.pdf

引言

Pointer-Generator机制可以从历史会话和知识语料中直接提取有用的信息,该文采用这种方法在对话生成中解决OOV问题并进行知识提取。通过将聚类机制引入到beam search解码过程,提高了模型生成回复的丰富性,最后通过语言模型过滤掉在回复中经常出现但无意义的结果。

数据集

本文数据集为DSTC官方在reddit社区上抓取的300万对话问答,以及从 reddit 网页上相关的网页中提取的 2 亿个句子。经该文作者处理后,共组成1426601组对话的数据集,其中训练集大小为1408951,验证集大小4542,测试集大小为13108.每个句子的长度为8到20个token。

模型

整体架构

模型的整体架构如下图1,采用端到端的编码器解码器架构,编码器部分对对话中的Conversational history和Fact Extraction分别采用bi-LSTM模型编码。解码器部分在beam search时做K-means聚类处理,然后通过N-gram语言模型去除重复token,最后用N-gram Language Model过滤掉语义上无意义的safe response。

AAAI 2019 | 采用聚类集束搜索机制的知识对话系统_第2张图片
图1 模型整体架构

解码器结构

模型的解码器结构如下图2,主要包括三个部分:

(1)对Conversation history和Facts进行Attention计算;

AAAI 2019 | 采用聚类集束搜索机制的知识对话系统_第3张图片
AAAI 2019 | 采用聚类集束搜索机制的知识对话系统_第4张图片

(2)模式预测,即解码器预测分别从history copy、从fact copy、直接generation的概率,下式中m表示三种模式的编号;

AAAI 2019 | 采用聚类集束搜索机制的知识对话系统_第5张图片

(3)输入词的概率估计,将(2)中的模式预测与每个token在每个模式下的概率进行插值计算,得到总的概率;

AAAI 2019 | 采用聚类集束搜索机制的知识对话系统_第6张图片
图2 解码器结构图

聚类集束搜索

如图3所示,解码进行beam search时,算法将扩展的候选集

AAAI 2019 | 采用聚类集束搜索机制的知识对话系统_第7张图片
图3 聚类集束搜索算法流程

进行聚类操作,然后分别选出每一类的BS/K个候选集作为新的候选集数据,之后分别经过语言模型去重和过滤safe response,然后选出最好的一个候选句作为解码结果。

实验

本文共对比了三个官方提供的baseline模型和比赛中其他两组模型、以及自己的两个模型(含聚类集束搜索、不含聚类集束搜索),衡量指标也分为机器评价、人工评价两大组。

机器评价用了NIST-4、BLEU-4、Meteor评价结果的相关性,并用Entropy-4、Div-1、Div-2评价结果的丰富性,如下表1所示,结果显示该文模型具有最好的相关性结果;

AAAI 2019 | 采用聚类集束搜索机制的知识对话系统_第8张图片
表1 机器评价结果

人工评价由三个人分五档进行评分,分别给出六组模型的平均得分和95%置信得分区间,如下表2所示,结果显示该文模型具有最好的丰富性,并且综合得分也排名第一;

AAAI 2019 | 采用聚类集束搜索机制的知识对话系统_第9张图片
表2 人工评价结果

结论

1)本文将pointer-generator的copy机制引入到知识对话生成模型中,模型成功地结合了上下文和外部知识生成回复,生成的结果具有较好的知识相关性。另外聚类、语言模型等机制的引入,较好地处理了生成结果的丰富性问题。这两点都对知识对话系统的构建具有借鉴意义。

AAAI 2019 | 采用聚类集束搜索机制的知识对话系统_第10张图片

                                                                                    扫码识别关注,获取更多新鲜论文解读

你可能感兴趣的:(AAAI 2019 | 采用聚类集束搜索机制的知识对话系统)