2021深度学习对话系统大综述 [一]

关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】

文章链接：https://mp.weixin.qq.com/s/QZjfSfSmby8lb9oPJdrAfw

---

前言

本文将以2021年南洋理工大学发表的论文《Recent Advances in Deep Learning-based Dialogue Systems》为基础，介绍「深度学习对话系统」综述系列，共分七篇，本文是开篇。论文制作了一个图表，以帮助读者熟悉整体结构（如图1），本系列将依此详细介绍。

                                                                                                                             图1  全文结构

【一】简要介绍对话系统和深度学习

【二】讨论现代对话系统中流行的神经模型及其相关工作。

【三】介绍面向任务对话系统的原理和相关工作，并讨论研究挑战和热门话题。

【四】介绍开放域对话系统中的热门话题。

【五】回顾对话系统的主要评估方法。

【六】全面总结对话系统常用的数据集。

【七】对论文进行总结，并提供有关研究趋势的一些见解。

深度学习对话系统【一】

◆ 摘要

对话系统（Dialogue systems）是受欢迎的NLP任务之一，因为它在现实生活中的应用场景广阔。这也是一项复杂的任务，因为涉及许多值得研究的NLP任务。在这一任务中许多新颖的工作都是基于深度学习方法取得显著成效。在这一篇综述中，主要关注点在基于深度学习的对话系统。全面的调研了对话系统中的历史最佳研究工作，并从模型类型和系统类型两个角度进行分析：

• 从模型类型（model type），讨论了不同模型之间的原理、特征和应用。这将有助于研究人员熟悉这些模型，并了解它们如何在最新的框架中应用，这在设计新的对话系统时非常有帮助。

• 从系统类型（system type），将面向任务（task-oriented）和开放域（open-domain）对话系统作为两个研究流进行讨论，以提供对相关热点话题的见解。

此外，文章还全面调研对话系统任务相关的评估方法和数据集。最后，根据最近的研究成果确定一些可能的研究趋势。

 

◆ 介绍

对话系统与人进行闲聊（chit-chat）或通过对话充当助手。根据其应用，对话系统通常分为两类：

• 面向任务的对话系统（Task-oriented dialogue systems）

  面向任务的对话系统解决了特定领域中的特定问题，例如电影票预订，餐厅餐桌预订等。传统的面向任务的对话系统以管道结构（Pipeline）进行组织，并包含四个功能模块：自然语言理解（Natural Language Understanding），对话状态跟踪（Dialogue State Tracking），策略学习（Policy Learni）和自然语言生成（Natural Language Generation），这将在第【三】节中详细讨论。与管道式方法（Pipeline）相比，许多历史最佳工作都设计了端到端面向任务的对话系统，以取得更好的效果。

• 开放域对话系统（Open-domain dialogue systems）

  开放域对话系统不是专注于任务完成，而是旨在与用户聊天而不受任务和域的限制。而任务和域限制通常是完全由数据驱动的。

  开放域对话系统通常分为三类：

  • 生成系统（generative systems）

    生成系统应用序列到序列模型将用户消息和对话历史记录映射到可能不会出现在训练语料库中的回应序列（response sequence）。生成系统可以产生灵活的，与对话上下文相关的回应，而有时则缺乏连贯性，并且往往会做出愚钝的回应。

  • 基于检索的系统（retrieval-based systems）

    相比之下，基于检索的系统尝试从某个回应集中选择一个预先存在的回应。基于检索的系统从人类回应集中选择回应，因此能够在表面层语言中实现更好的连贯性。但是，检索系统受到回应集有限性的限制，有时检索到的回应与对话上下文之间的相关性较弱[1]。

  • 集成系统（ensemble systems）

    集成系统通过两种方式结合了生成方法和基于检索的方法：可以将检索到的回应与生成的回应进行比较，以从中选择最佳方法；生成模型也可以用于完善检索到的回应[1,2,3,4]。

传统的对话系统大多基于有限状态（finite state-based）[5]，基于统计学习和基于机器学习的系统。

• 基于有限状态的系统易于实施并且可以自然回应，这有助于它们在较早的行业产品中广受欢迎。但是，这些系统的对话流程是预先确定的，这使对话系统的应用程序局限在某些特定场景下。

• 基于统计学习和基于机器学习的系统通常执行模板填充以管理某些任务。与基于有限状态的系统相比，这些系统更加灵活，因为对话流程不是预先确定的。但是，由于模板固定，它们无法在模板填充中获得较高的F1分数，并且在应用场景和回应多样性方面也受到限制。

深度学习的快速增长提高了对话系统的性能[6]。深度学习可以看作是使用多层神经网络的表示学习。深度学习架构广泛用于对话系统及其子任务中。第【二】节将会讨论了各种流行的深度学习架构。

除了对话系统，NLP中还有许多与对话有关的任务，包括但不限于问答(question answering)，阅读理解(reading comprehension)，对话解开(dialogue disentanglement)，视觉对话(visual dialogue)，视觉问答(visual question answering)，对话推理(dialogue reasoning)，对话语义解析(conversational semantic parsing)，对话关系提取(dialogue relation extraction)，对话情感分析(dialogue sentiment analysis,)，仇恨语音检测(hate speech detection,)，MISC检测等。

 

[1] Modeling multi-turn conversation with deep utterance aggregation. (2018c)

[2] Two are better than one: An ensemble of retrieval-and generation-based dialog systems.(2016)

[3] Alime chat:A sequence to sequence and rerank based chatbot engine.(2017)

[4] A deep reinforcement learning chatbot.(2017b)

[5] Dialogue system: A brief review.(2013)

[6] A survey on dialogue systems: Recent advances and new frontiers.(2017a)