《Learning from Dialogue after Deployment:Feed Yourself, Chatbot!》阅读笔记——持续学习的对话系统

动机

语料搜集困难,当前对话系统就是用人与人的语料来训练机器人,没有在人机对话时训练机器人

人就是在对话中不断通过反馈来学习说话的

直接利用人机的对话来学习可能导致错误传播,强化学习的思想是通过指标进行反馈,但是人在实际情况下是通过自然语言来进行反馈的

主要工作

本文提出一个可以在机器人参与的对话中选取训练样本,他可以评估用户对它的回答的满意度,当对话顺利进行就可以将其作为新的对话样本,当它意识到自己犯了错误,就会要一个反馈。这样就不需要额外的注释成本。这样也就获得了两个额外的数据 DIALOGUE examples  防止机器人犯错 FEEDBACK examples用来解决问题。

获得了三个数据集。一个是机器人部署后的聊天日志,一个是用户的满意度,一个是基于用户反馈获得机器人本应该说的话。

例子

《Learning from Dialogue after Deployment:Feed Yourself, Chatbot!》阅读笔记——持续学习的对话系统_第1张图片

模型

《Learning from Dialogue after Deployment:Feed Yourself, Chatbot!》阅读笔记——持续学习的对话系统_第2张图片

接口组件:输入输出处理,对话历史储存、候选准备、流程控制(什么时候问什么时候答)

模型组件Transformer architecture(弃用RNNCNNall is attention的一个网络)

  对话反馈用一个模型(检索问题):用Transformer编码对话历史(本文用两轮对话)以及候选回答和反馈,用点乘比较相似度

  满意度:用Transformer来编码用现线性层转换为预测的满意度

反馈的类型

直接回馈 建议 指导 多种建议

《Learning from Dialogue after Deployment:Feed Yourself, Chatbot!》阅读笔记——持续学习的对话系统_第3张图片

数据搜集三个任务

对话:人与人:PariAI数据集 机器与人:上述方法收集

满意度:众包人工评价

反馈:机器索要反馈:Oops! Sorry. What should I have said instead?未来工作是如何根据内容来索要反馈

结果

《Learning from Dialogue after Deployment:Feed Yourself, Chatbot!》阅读笔记——持续学习的对话系统_第4张图片

另建立了一个交流群,感兴趣的朋友可以加下

你可能感兴趣的:(对话系统)