对话系统文献综述

一、简介

论文：https://arxiv.org/pdf/1711.01731.pdf
该论文对对话系统进行了综述，并讨论了今后可能的研究方向。

目前的对话系统大致被分成两类：

1 任务导向的对话系统

任务为导向的对话系统是帮助用户去完成特定任务，比如找商品，订住宿，订餐厅等。实现任务为导向的对话系统，主要有两类方式：

1) Pipeline method

通过4个步骤去完成对话任务

2)End-to-End method。

端到端地完成对话任务

2 非任务导向的对话系统

非任务导向的对话系统是与用户进行互动并提供回答，简单的说，就是在开放领域的闲聊。实现非任务导向对话系统也主要可分为两类：

1) generative method

生成式对话

2)retrived-based method

答案选择式对话

文章就以上两类对话系统，以及各自的实现方法进行详细综述与讲解。

二、任务导向的对话系统

1 Pipeline method

Pipeline method的步骤可以分为4个，过程如下图所示，分别是自然语言理解–>对话状态跟踪–>策略学习–>自然语言生成

1.自然语言理解 Natrual Language Understanding（NLU）

目标：将用户的输入语句转化为预先设定好的语义槽（semantic slot)

先来个例子：
在任务型对话系统中用户想要查酒店信息，于是说出一个句子：“show restaurant at New York tomorrow.”
理解这个句子需要两个步骤：
（1）首先要判断用户是需要订酒店，而不是订机票，买东西，查快递，那么这属于一个分类问题，即识别用户意图类别
（2）查酒店类别会有与之相对应的预先设定好语义槽(semantic slot),如New York是location的slot value.填充槽值的过程即在句中做词信息的抽取。

以上两步也可分别称作意图识别(intent detection)与槽填充(slot filling):

意图识别: 是分类问题，将用户发出的语句分类到预先设定好的意图类别中。简而言之，其实就是短文本的分类，最近一般都使用深度学习来做分类。

• 深度学习在意图识别中的应用：
  “Use of kernel deep convex networks and end-to-end learning for spoken language understanding.(2012)”
  “Towards deeper understanding: Deep convex networks for se- mantic utterance classification.(2012)”
  “Zero- shot learning and clustering for semantic utterance classification using deep learning(2014)”
  其中，使用卷积神经网络来抽取查询语句的向量表征(vector representations)：
  “Query intent detection using convolutional neural networks(2016)”

**槽填充：**是序列标注问题，为句子中的每个词打上语义标签。输入是由一组序列的词组成的句子，输出是该组序列的词及词对应的语义类别（slot/concept ID)。可以类比中文分词，词性标注等问题。因此传统的做法有HMM，CRF等。最近效果较好的是DBN，RNN去做序列标注

• 使用了deep belief networ(DBNs)，取得优于CRF baseline的效果：
  “Use of kernel deep convex networks and end-to-end learning for spoken language understanding.(2012)”
  “Deep belief network based semantic taggers for spoken language understanding.(2013)”
  [17]和[15]使用了deep belief networ(DBNs),

• 使用了RNN
  “Investigation of recurrent-neural-network architectures and learning methods for spoken language understanding.(2013)”
  “Recurrent neural networks for language understanding.(2013)”
  “Spoken language understanding using long short-term memory neural networks.(2014)”

2.Dialogue State Tracking

根据对话历史管理每一轮对话的输入，并且预测当前对话的状态。对话状态Ht表示到时间t为止对话的表征（也叫做slot或semantic frame)。对话状态的跟踪主要有3个方面：the user’s goal, the user’s action, the dialogue history.

• 传统的方式：是使用手工做的规则来选择最可能的结果。但是错误率高。

• 基于统计的方式：

  • 会对每轮对话都计算对每个state的概率分布。
    “The hidden information state model: A practical framework for pomdp- based spoken dialogue management（2010)”
  • 对每轮对话的每个slot都计算概率分布
    “A belief tracking challenge task for spoken dialog systems.(2012)”
    “The dialog state tracking challenge.(2013)”
  • 也有用手工规则的
    “A simple and generic belief tracking mechanism for the dialog state tracking chal- lenge: On the believability of observed information（2013）”
  • 用CRF
    “Recipe for building robust spoken dialog state trackers: Dialog state tracking challenge system description(2013)”
    “Structured discriminative model for dialog state tracking（2013）”
    “Dialog state tracking using conditional random fields（2013）”
  • 用最大熵模型
    “Multi-domain learning and generalization in dialog state tracking.（2013）”
  • 用基于网络的排序
    “Web-style ranking and slu combina- tion for dialog state tracking（2014）”

• 基于深度学习：

  • 深度学习在信念跟踪上的应用（可以跨领域应用）。
    “Deep neu- ral network approach for the dialog state tracking challenge（2013）”
  • 多领域RNN对话跟踪
    “Multi-domain dialog state tracking using recurrent neural networks（2015）”
  • 利用神经信念跟踪NBT检测每个slot pair
    “Neural belief tracker: Data-driven dialogue state tracking.（2017）”

3.Policay learning

根据当前对话状态做出下一步的反应。举个例子，在线上购物的场景中，若上一步识别出来的对话状态是“Recommendation",那么这一步骤就会给出对应推荐的action,即从数据库中获取商品。

• 监督学习：
  • 首先一个rule-based agent用来做热启动，然后监督学习会在根据rule生成的action上进行：
    “Building task-oriented dialogue systems for on- line shopping”
• 强化学习：
  • “Strategic dialogue management via deep reinforcement learning.(2015)”

4.Natural language generation（NLG）

将Policy learning给出的反应转换成相应的自然语言形式的回答提供给用户。一个好的回答生成器应具备4个特点：adequacy, fluent,readability and variation[78].

传统的方法[90;79]：使用sentence planning,将输入的语义特征转换成中间形式（比如树状或模版形式），然后再通过surface realization将中间形式转换成最终的回答。
深度学习的方法：[94;95]介绍了NN于LSTM结合的结构，类似于RNNLM；[94]使用前向RNN生成器，以及CNN和backwards RNN的reranker，所有子模型进行联合优化；[95;83]新增一个control celll来gate the dialogue act;[96]将前者在multiple-domain上改进于应用；[123]使用encode-decode LSTM-based,并结合了attention machanism;[20]使用sequence-to-sequence 方法。

2 end-to-end methods

特点：使用单个模型；可于外部的结构数据库进行交互

• 使用基于网络的端到端的可训练的对话系统。将对话系统的问题转换为学习一个映射（从历史对话–>回答）。但是，其需要大量训练数据并且缺少鲁棒性。

  • *"A network-based end-to-end trainable task-oriented dialogue system(2017)”
  • “end-to-end goal-oriented dialog(2017)”*

• 使用end-to-end 强化学习方法，联合训练对话跟踪于策略学习,但是也存在缺陷：不可微+无法获取语义不确定性。

  • “Towards end-to-end learn- ing for dialog state tracking and management us- ing deep reinforcement learning.(2016)”

• 基于memory network,使用RNN+可微分attention

• “Key-value retrieval networks for task-oriented dialogue(2017)”

三、非任务型对话

非任务型对话主流有两类：生成式对话和抽取式对话。

1 Neural generative models

Neural generative models主要是依赖于sequence to sequence的模型。但光建立一个序列模型还远远不够，一个好的对话系统还需要考虑：
（1）历史对话对当前对话的影响
（2）回答的多样性
（3）针对不同领域与用户个性提供不同的回答
（4）基于外部的知识库去做回答
（5）内部学习与评估(两个对话机器人互相对话作为训练）

1.Dialogue context

• 将历史对话的内容转换成词或短语向量的表征作为序列模型的特征
• 建立一个层级结构的attention机制去找出重要的历史语句
• 根据相关性去找出与问句最相关的context作为特征

2.Reponse Diversity

• 调整目标函数：使用maximum mutual information作为最优化目标
• 使用IDF去评估回答的多样性
• 调整beam search，使得输出多样回答
• 加入re-ranking步骤
• 增加输入信息的多样性
• 加入latent variable

3.Topic and personality

• 先用主题模型LDA去生成主题，将主题信息作为特征输入对话模型
• 将用户对话做领域的分类
• 加入emotional embedding到生成模型中
• 加入profile的信息
• 强化学习

4.Outside knowledge base

• 使用memory network使对话系统与知识库做交互
• 将知识库中的词语模型生成的词做结合

5.Evaluation

如何评价产生对话的好坏呢？

• word overlap metrics:BLEU,METEOR,ROUGE
• 利用两个RNN来做评估
• 将context,the true response and candidate response表征成向量计算向量之间的相似性来评估
• 图灵测试
• adversarial evaluation model

2 Retrieval-based method

Retrieval-based method是从候选答案中选出一个答案作为回答。主要有两个应用领域：
（1）单轮对话
（2）多轮对话

3 Hybrid methods

将以上生成式对话和抽取式对话结合起来，先从通过抽取模型抽取出答案，再将答案放到RNN中去生成回答。

其他很赞的博文： https://blog.csdn.net/Irving_zhang/article/details/78865708

对话系统是一个很大的领域，涉及了不限于NLP的方方面面，让机器拥有人类的对话能力姑且任重道远，探索之路也辛且艰，因此这方面的学习也需要从面到点，单个击破，之后我会将对话系统的学习和实践做好博客的记录，欢迎大家一起讨论。