深度强化学习算法比较

通过价值选行为 Q-learning 、Sarsa、 Deep Q network
直接选行为 policy Gradients
想象环境并从中学习 Model based RL
基于概率(Policy-Based RL) policy Gradients
基于价值(Value-Based RL) Q-learning 、Sarsa

基于概率: 感官分析所处的环境,直接输出下一步采取各种行动的概率,然后根据概率采取行动,所以每一种动作都有可能被选中,只是可能性不同。

基于价值:输出的是所有动作的价值,我们根据最高价值选择动作。相比,基于价值更为铁定,毫不留情,就选的是价值最高的。而基于概率的即使某一动作概率最高,也不一定选中。对于连续动作,基于价值的方法无能为力。但能用一个概率分布,在连续动作中选择特定的动作。

结合这两种方法创造出Actor-critic
Actor基于概率做出动作 critic 会根据做出的动作给出动作的价值

在线学习(policy-on)指的是必须本人在场,离线学习(policy-off)是可以自己玩,也可以看着别人玩,来学习别人的行为准则。离线学习也是从过往经验中学习,但不局限于自己的经历。或者不需要边玩边学习,比如白天储存玩耍时的记忆,等到晚上通过离线学习来学习白天的记忆

离线学习 Q-learning 、 Deep Q network
在线学习 Sarsa 、 Sarsa(λ)

你可能感兴趣的:(深度强化学习)