Enhancing Text-based Reinforcement Learning Agentswith Commonsense Knowledge

摘要

在本文中，我们考虑了利用基于文本的环境和游戏作为评估环境来评估强化学习技术进展的最新趋势。这种对文本的依赖使自然语言处理的进步进入了这些代理的范围，一个循环的线程是使用外部知识来模仿和更好的人类水平的性能。我们展示了一个这样的代理实例，它使用来自ConceptNet的常识知识，在两个基于文本的环境中显示出良好的性能。

1.介绍

多年来，模拟环境和游戏被广泛用于展示和推动强化学习技术的进步。最近一个受到广泛关注的环境是TextWorld (TW) (Cˆoté等人，2018)，其中一个代理必须与外部环境交互以实现目标，同时最大化的回报-所有这些都只使用文本的模式。TextWorld和类似的基于文本的任务试图为基于代理的强化学习技术带来自然语言处理(NLP)和问题回答解决方案的进步，反之亦然。

在一些NLP任务的解决方案中，一个固有的共同线索是，单纯的基于文本的技术无法达到或超过人类水平的性能，NLP系统必须学会如何利用来自外部来源的额外知识，如知识库(KBs)和知识图(KGs)，以提高其整体性能。图1展示了一个运行中的例子来说明这一点:在图中，代理必须有效利用的额外知识显示在左下角的ConceptNet标题下。

图1:我们的《Kitchen Cleanup》游戏示意图。机器人通过短信感知世界，并被赋予打扫