深度学习21-超越无模型方法：想象力

### 超越无模型方法：想象力

▪  简要了解RL中基于模型的方法。
▪  重新实现一种模型，该模型由DeepMind研究人员在论文“Imagination-Augmented Agents for Deep Reinforcement Learning”（https://arxiv.org/abs/1707.06203）中进行了描述，它为智能体添加了想象力。

**基于模型与无模型**

▪  基于价值和基于策略。
▪  在线策略和离线策略。
▪  无模型和基于模型。

考虑环境模型的另一种有趣方式是使用基于模型的路径来扩展无模型策略。在这种情况下，我们不是在尝试建立最佳的环境模型，而只是给我们的智能体额外的信息，并让其自行决定这些信息在训练期间是否有用。

基于模型的强化学习的主要好处是它消除了代理在其环境中进行反复试验的需要。例如，如果您听说有事故阻塞了您通常去上班的道路，基于模型的RL将允许您对替代路线进行心理模拟并改变您的路径。使用无模型强化学习，新信息对您没有任何用处。您将照常进行，直到到达事故现场，然后您将开始更新您的价值函数并开始探索其他行动。

基于模型与无模型强化学习

在某些情况下，创建一个体面的环境模型要么是不可能的，要么是太难了。基于模型的强化学习可能非常耗时，在时间敏感的情况下可能会被证明是危险的甚至是致命的。

“决定无模型强化学习复杂性的是刺激集和动作集的所有可能组合，”他说。“随着你拥有越来越多的世界状态或传感器表示，你必须在状态和动作之间学习的配对将会增加。因此，即使这个想法很简单，但如果有很多状态并且这些状态映射到不同的动作，你将需要大量的内存。”

相反，在基于模型的强化学习中，复杂性将取决于您构建的模型。如果环境真的很复杂，但可以使用可以快速获取的相对简单的模型进行建模，那么仿真会更简单且更具成本效益。

人工智能研究中的一些有趣的工作表明了这可能是如何工作的。最近一项受心理学家Daniel Kahneman的系统1和系统2思维启发的技术表明，维护不同的学习模块并并行更新它们有助于提高AI系统的效率和准确性。

我们仍然需要弄清楚的另一件事是如何在我们的AI系统中应用正确的归纳偏差，以确保它们以具有成本效益的方式学习正确的东西。数十亿年的进化为人类和动物提供了有效学习所需的归纳偏差，并且使用尽可能少的数据。