主题感知的响应生成——TA-Seq2Seq model

主题感知的响应生成——TA-Seq2Seq model

《Topic Aware Neural Response Generation》

概述

本文介绍了一种将topic model与seq2seq的方法，主题来自于预训练LDA模型，为了增加主题词出现在回答中的可能性，该模型通过添加额外的概率项来偏向整体分布来修改主题词的生成概率。

该模型利用主题来模拟人类的先验知识，指导他们在对话中形成信息性和有趣的反应，并通过联合注意机制和偏向生成概率利用主题信息生成。

Introduction

现有的对话系统分为面向任务的对话系统和面向非任务的聊天机器人。

一个常用的建立聊天机器人的方法是使用机器翻译框架训练一个响应生成模型

类似带注意力机制的sel2seq模型倾向于产生safe generation，虽然安全但是信息量较小，使用体验差

与已有的设置惩罚机制调整概率的方法不同，这篇paper将内容纳入主题来解决问题

在编码中，模型通过消息编码器将输入消息表示为隐藏向量，并从使用对话数据之外的大规模社交媒体数据预先训练的Twitter LDA模型中获取消息的主题词的嵌入。主题词用来模拟人们心中的概念

在解码中，每个单词都是通过联合注意机制根据消息和主题生成的。在共同关注中，消息的隐藏向量通过消息关注被概括为上下文向量，其遵循现有的关注技术，并且主题词的嵌入被主题关注合成为主题向量。与现有注意力不同，在主题关注中，通过将消息的最终状态作为额外输入来计算主题词的权重，以便加强与消息相关的主题词的效果。联合关注使得上下文向量和主题向量共同影响响应生成，并使响应中的单词不仅与输入消息相关，而且与消息的相关主题信息相关。

主题词的获得

我们使用模型将主题z分配给消息X，在z下选择具有最高概率的前n个单词，并删除诸如“thank”和“you”之类的通用单词，得到主题词K为X.

生成的首单词对于保证句子流利有很大作用，主题信息可以帮助校准生成的首单词，从而使得生成的句子更为准确

扩展阅读

项目地址

[Shang, Lu, and Li 2015] Shang, L.; Lu, Z.; and Li, H. 2015. Neural responding machine for short-text conversation. arXiv preprint arXiv:1503.02364.