Bayesian RL and PGMRL

简介:

PGMRL: PGMRL就是把RL问题建模成一个概率图模型,如下图所示:

 Bayesian RL and PGMRL_第1张图片

然后通过variational inference的方法进行学习:

Bayesian RL and PGMRL_第2张图片

PGMRL给RL问题的表示给了一个范例,对解决很多RL新问题提供了一种思路和工具。

 

Bayesian RL: 主要是对RL的reward function, transation function引入uncertainty, 引入prior和更新posterior来建模,从而更好地进行探索。

 

思考:为什么PGMRL推导过程中没有Beyesian RL的exploration-exploitation trade-off的问题。

简单的PGMRL建模的reward和transation是确定的,没有超参数的。在某种程度下,比如问题是凸的情况下,是不需要进行exploration的。而Beyesian RL的问题设定是假设这些东西是一种概率分布,而不是确定性的。而BeyesionRL对这种不确定性的处理恰巧克服了RL问题不是凸的情况local optimal的减弱。

 

thinking: what things does the Beyesian RL not consider?

Beyesian RL关注的点主要还是在uncertainty上,对policy学习过程的建模能力较弱,更适合用来处理RL中的uncertainty的问题,比如对sparse reward的问题处理能力较弱。

 

relationship between PGMRL and Bayesian RL:

我觉得Bayesian RL应该归为PGMRL中的一部分,PGMRL更具有整体性,对问题描述更全面,而Bayesian RL更像是处理某一特殊问题的方式。Bayesian RL需要在通过数据更新后验,然后也是model学习和policy学习相互交替的过程,但是由于没有很好的描述,我们不清楚这里面那些东西是missing variables,而且表面上看上去似乎reward和transation是missing的,但在PGMRL框架下,我们可以很清晰的看到其实optimal policy才是missing variable(PGMRL中把optimal policy转换成了variable)。这种迭代学习的过程,和EM算法的迭代类似,就是一边做inference一边做learning。这里inference就是对opitmal policy的学习过程,learning就是对MDP参数学习的过程。而在对optimal policy学习的时候,是这一种变分推断的过程,而这个变分推断过程又结合了MCMC采样的东西,MCMC采样有个冷启动的过程,所以前期不能只根据policy的最优结果来进行采样,需要加一些扰动。各种inference技术的结合加上简化形成了目前的基于deep learning的RL policy学习方法。

 

对于无先验的东西,我觉得还是用maximum entropy和variational infercence的方式去处理,简单的Bayesian RL中如果使用简单的共轭先验,对问题的处理局限性也较大,不具有普适性。所以,对于无先验的东西,直接采用maximum entropy更具有普适性。

转载于:https://www.cnblogs.com/huangshiyu13/p/10654431.html

你可能感兴趣的:(人工智能)