model-based 强化学习分类

转载自：https://zhuanlan.zhihu.com/p/72642285

model-based RL这个方向的工作可以根据environment model的用法分为三类：

1.作为新的数据源：environment model 和 agent 交互产生数据，作为额外的训练数据源来补充算法的训练。
2.增加决策的context信息：在进行Q值或者V值预估时，environment model 和agent做交互，交互过程中的信息作为context提供给agent来帮助其决策。
3.增加Q值预估的质量：在进行Q值预估时候，会通过environment model 来展开一定步数，然后结合model-free的Q值预估来给出一个更高准确的Q值预估。
其中3和2有点类似，但是2一般和planning结合，3的话则更多用于off-policy的RL算法中