Transfer in Deep Reinforcement Learning using Knowledge Graphs

摘要

在文本冒险游戏中，玩家必须通过文本描述来理解游戏世界，并通过文本描述来声明行动，这为语言行动奠定了基础。之前的工作已经证明，使用知识图作为状态表示和问题回答来预先训练深度q网络有助于更快的控制策略学习。在本文中，我们探索使用知识图作为领域知识转移的表示，用于训练文本冒险游戏强化学习代理。我们的方法在多个计算机生成和人类编写的不同领域和复杂性的游戏中进行了测试，并表明我们的迁移学习方法让我们更快地学习更高质量的控制策略。

1.介绍

在文本冒险游戏中，玩家必须通过文本描述理解世界，并通过自然语言宣布行动，这可以为玩家走向更真实的世界环境提供一个跳板，在这种环境中，代理必须通过交流来理解世界的状态并影响世界的变化。尽管关于文本冒险游戏的研究稳步增长，除了深度强化学习应用的普遍存在外，教agent玩文本冒险游戏仍然是一项具有挑战性的任务。学习文本冒险游戏的控制策略需要大量的探索，导致需要进行数十万次模拟训练。

文本冒险游戏需要如此多探索的一个原因是，大多数深度强化学习算法都是在没有真正先验的情况下训练任务。从本质上来说，代理必须从它与环境的互动中了解关于游戏的一切。然而，文本冒险游戏充分利用了常识(游戏邦