【论文笔记】强化学习论文阅读-Model-Based RL 9篇

简要介绍了一下Model-Based RL领域的经典论文(2018年以前)。

文章目录

    • 引子
    • a. Model is learned
      • Imagination-Augmented Agents for Deep Reinforcement Learning, Weber, et al, 2017. Algorithm: I2A.(deepmind)
      • Neural Network Dynamics for Model-Based Deep Reinforcement Learning with Model-Free Fine-Tuning, Nagabandi, et al, 2017. Algorithm: MBMF.
      • Model-Based Value Expansion for Efficient Model-Free Reinforcement Learning, Feinberg et al, 2018. Algorithm: MVE.
      • Sample-Efficient Reinforcement Learning with Stochastic Ensemble Value Expansion, Buckman et al, 2018. Algorithm: STEVE.
      • Model-Ensemble Trust-Region Policy Optimization, Kurutach, et al, 2018. Algorithm: ME-TRPO.
      • Model-Based Reinforcement Learning via Meta-Policy Optimization, Clavera, et al, 2018. Algorithm: MB-MPO.
      • Recurrent World Models Facilitate Policy Evolution, Ha and Schmidhuber, 2018.
    • b.Model is Given
      • Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm, Silver, et al, 2018. Algorithm: AlphaZero.
      • Thinking Fast and Slow with Deep Learning and Tree Search, Anthony et al, 2017. Algorithm: Expert Iteration(ExIt).

引子

【论文笔记】强化学习论文阅读-Model-Based RL 9篇_第1张图片
在model-free的方法中,无非两种方式,value-based方法先学习值函数(MC或TD)再更新策略,policy-based方法直接将真实轨迹数据(real experience)更新策略。而model-based方法呢,顾名思义,会先将着重点放在环境模型(environment dynamics),通过采样先学习一个对环境的建模,再根据学习到的环境模型做值函数/策略优化。在model-based方法中,planning步骤至关重要,正是通过在learned model基础上做planning才提高了整个强化学习算法迭代的效率。

在完成了对环境的建模后,在model-based大类方法中同样有两种路径,一种是通过学到的model生成一些仿真轨迹,通过仿真轨迹估计值函数进而优化策略;另一种是通过学到的model直接优化策略,这也是目前model-based方法常走的路线。

a. Model is learned

Imagination-Augmented Agents for Deep Reinforcement Learning, Weber, et al, 2017. Algorithm: I2A.(deepmind)

【论文笔记】强化学习论文阅读-Model-Based RL 9篇_第2张图片
Ot即为t时刻的环境状态(St)
使rollout policy来模仿最终的想象力增强的策略, 以此来进行rollout policy 的训练。

也就是说,通过和环境交互采样后,让系统学习到一个可编码的环境。在决策时,就先考虑通过模型“想象”后续情况,然后得到一个策略。得到策略后,再将这个策略用无模型的方式进行表征。

Neural Network Dynamics for Model-Based Deep Reinforcement Learning with Model-Free Fine-Tuning, Nagabandi, et al, 2017. Algorithm: MBMF.

【论文笔记】强化学习论文阅读-Model-Based RL 9篇_第3张图片
基于模型和无模型的方法各有千秋,这篇文章希望把基于模型的收敛快和无模型的水平高相结合。因此使用模仿学习,学习专家策略,让无模型的网络较快地达到一个相对可以接受的水平,然后采用无模型强化学习。
核心其实就是用模仿学习加快了无模型强化前期的收敛速度。

Model-Based Value Expansion for Efficient Model-Free Reinforcement Learning, Feinberg et al, 2018. Algorithm: MVE.

【论文笔记】强化学习论文阅读-Model-Based RL 9篇_第4张图片
因为模型是学习得到的,在规划时如果步数太多,模型很容易会有偏差,于是采用H步截断的方式。这样也可以减少计算的复杂度。
另外,使用AC方式训练模型,用专家网络估计后续步骤的reward,用Q估计H步后局面的价值。

Sample-Efficient Reinforcement Learning with Stochastic Ensemble Value Expansion, Buckman et al, 2018. Algorithm: STEVE.

【论文笔记】强化学习论文阅读-Model-Based RL 9篇_第5张图片
感觉就是刷分的方式。
用多个网络估计reward。
用多个网络学习model,进行状态转移估计。
用多个网络对H步的状态价值进行估计。
当然效果肯定也好。对于越难学到的model,ensemble的效果越好。

Model-Ensemble Trust-Region Policy Optimization, Kurutach, et al, 2018. Algorithm: ME-TRPO.

【论文笔记】强化学习论文阅读-Model-Based RL 9篇_第6张图片
用监督学习方法学习环境动力模型,然后用TRPO进行agent的策略学习。最后用ensemble的方式让模型work得更好。

Model-Based Reinforcement Learning via Meta-Policy Optimization, Clavera, et al, 2018. Algorithm: MB-MPO.

【论文笔记】强化学习论文阅读-Model-Based RL 9篇_第7张图片
之前的基于model的都是先随机采样学得model,之后都用这个学到的model了。本文使用环境采样和策略学习交替进行的方式。
可以想象,在前期模型不太好的情况下进行策略学习可能会带来算力上的浪费。每次学习的时候采样的又不多。
实际上,每一次学习策略都是用元学习的方式。
最终呢,这个模型不容易受到模型偏差的影响,因为它不断地在刷新自己对模型的认知。

Recurrent World Models Facilitate Policy Evolution, Ha and Schmidhuber, 2018.

【论文笔记】强化学习论文阅读-Model-Based RL 9篇_第8张图片
用VAE来做环境的编码,用RNN对环境进行处理,用决策器(单层线性模型)进行决策。
将环境模型用在了赛车游戏中,取得了不错的效果。

b.Model is Given

Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm, Silver, et al, 2018. Algorithm: AlphaZero.

【论文笔记】强化学习论文阅读-Model-Based RL 9篇_第9张图片

【论文笔记】强化学习论文阅读-Model-Based RL 9篇_第10张图片

Thinking Fast and Slow with Deep Learning and Tree Search, Anthony et al, 2017. Algorithm: Expert Iteration(ExIt).

【论文笔记】强化学习论文阅读-Model-Based RL 9篇_第11张图片
神经网络更像是人的直觉,而MCTS更像是推理的过程。
用神经网络来评估当前局面,然后用MCTS进行随机采样动作,然后再用神经网络评估、再MCTS采样……如此循环直到叶子节点。

MCTS用神经网络选择行为的话,神经网络的效果会对MCTS的效果产生影响。
神经网络越来越好的同时,能够促进MCTS得到的结果越来越好,从而产生良性循环。颇有“教学相长”的味道。


都看到这里了,就顺手点个赞吧~

你可能感兴趣的:(知识笔记,论文笔记,机器学习,深度学习,RL)