【论文摘要】Bayes-Adaptive Monte-Carlo Planning and Learning for Goal-Oriented Dialogues

本文仅为个人对论文的一点理解,如果有不对的地方烦请指正

戳我看论文原文

论文背景

1.战略对话任务(谈判):模型有着一定的任务,通过生成语言来与其它模型进行谈判,最终达到自己利益的最大化。

2.该任务上的强化学习:先训练模型的语言能力,然后利用强化学习增强模型的决策能力,希望模型学会如何决策,从而生成带有策略的回复。

3.朴素的强化学习势必会让模型慢慢的偏离人类语言。

4.贝叶斯推断和蒙特卡洛树搜索决策,本文将不会讨论两个算法的细节,也不会展开说明论文如何应用两个算法(尽力了,真的是get不到论文的点QAQ)。

具体问题描述

有三种物品若干,两个agent分别有一个物品喜好值,它们互相不知道对方的喜好值,通过生成语言谈判,最后两个agent做出决策,依据谈判成果拿走各自的物品,获得的收益为三种物品喜好值乘物品数量的加和。如果二者拿的物品有冲突,则两个agent的收益都为0。

论文方法

1.将模型分为两部分,分别为语言生成部分和最终决策部分,现在数据集上进行预训练。

2.使用Bayes-Adaptive Monte-Carlo Planning生成指标来让模型强化学习。

3.蒙特卡洛搜索的每一个状态都是由生成模型生成出来的语句,因此不会让模型偏离人类语言太大(???)

效果

超过了STOA,使用论文提出的方法进行增强学习提升了模型的得分能力,在这个前提下模型还可以产生较为流畅的对话。

个人总结

\quad 这是目前为止写的最短的一篇,主要的原因是我确实没有get到作者的一些意图,论文的研究内容非常的吸引人,但是个人感觉就是需要语言的博弈过程,而且论文很少提到设计语言模型的部分,大部分的篇幅也都在讨论博弈算法的细节,使用到的NLP知识非常有限。但总的来说,语言模型增强学习这块确实是一个不错的领域,算是开阔了视野吧。

你可能感兴趣的:(AAAI2020论文选读,自然语言处理)