基于策略的强化学习公式推导

基于策略的强化学习就是最大化平均收益$\bar{R}$，公式如下：

$$\bar{R}=\sum _{\tau }{P}_{\theta }(\tau )R(\tau )$$
其中，$\tau$为一个episode，可以写成{$s_1,a_1,r_1,\dots ,s_H,a_H,r_H$}。$P_{\theta }(\tau )$为$\tau$出现的概率，与参数$\theta$有关，$R(\tau )$为episode $\tau$收益。

我们使用梯度上升求解，即：$\theta \leftarrow \theta +\eta {▽}_{\theta }\bar{R}$
首先对$\bar{R}$关于$\theta$求导：
$$\begin{array}{rl}{▽}_{\theta }\bar{R}& =\sum _{\tau }{▽}_{\theta }{P}_{\theta }(\tau )R(\tau )\\ & =\sum _{\tau }R(\tau )P_{\theta }(\tau ){▽}_{\theta }\log P_{\theta }(\tau )\\ & =E_{\tau \sim P_{\theta }(\tau )}\left[R(\tau ){▽}_{\theta }\log P_{\theta }(\tau )\right]\\ & \approx \frac{1}{N}\sum _{\tau }R(\tau ){▽}_{\theta }\log P_{\theta }(\tau )\end{array}$$
其中，$P_{\theta }(\tau )$公式如下：
$$\begin{array}{r}{P}_{\theta }=P(s_1)\prod _{t=1}^H{\pi }_{\theta }(a_t|s_t)P(s_{t+1}|s_t,a_t)\end{array}$$
所以，
$${▽}_{\theta }\log P_{\theta }(\tau )=\sum _{t=1}^H{▽}_{\theta }\log {\pi }_{\theta }(a_t|s_t)$$
代入上式得：
$${▽}_{\theta }\bar{R}\approx \frac{1}{N}\sum _{\tau }R(\tau )\sum _{t=1}^H{▽}_{\theta }\log {\pi }_{\theta }(a_t|s_t)$$
将我们的数据代入上式就可以得到${▽}_{\theta }\bar{R}$，然后更新参数$\theta$。

但是，这个流程是采样一批数据更新一下参数，再采样一批更新一下，每批数据利用一次，效率很低下，所以在PPO中用到了off-policy，即采样时的策略和更新的策略不是同一策略，其中用到重要性采样，这个不会的可以百度一下吧，我这边直接给出推导。

假设当前策略为$\theta$，我们的数据是由${\theta }_{old}$产生的。

刚刚我们得到：
$$\begin{array}{rl}{▽}_{\theta }\bar{R}& =\sum _{\tau }R(\tau )P_{\theta }(\tau ){▽}_{\theta }\log P_{\theta }(\tau )\\ & =\sum _{\tau }R(\tau )P_{{\theta }_{old}}(\tau )\frac{P_{\theta }(\tau ){▽}_{\theta }\log P_{\theta }(\tau )}{P_{{\theta }_{old}}(\tau )}\\ & =\sum _{\tau }R(\tau )P_{{\theta }_{old}}(\tau )\frac{{▽}_{\theta }{P}_{\theta }(\tau )}{P_{{\theta }_{old}}(\tau )}\end{array}$$
那么，
$$\begin{array}{rl}\bar{R}& =\sum _{\tau }R(\tau )P_{{\theta }_{old}}(\tau )\frac{P_{\theta }(\tau )}{P_{{\theta }_{old}}(\tau )}\\ & =E_{\tau \sim P_{{\theta }_{old}}(\tau )}\left[\frac{R(\tau )P_{\theta }(\tau )}{P_{{\theta }_{old}}(\tau )}\right]\\ & \approx \frac{1}{N}\sum _{\tau }\frac{R(\tau )P_{\theta }(\tau )}{P_{{\theta }_{old}}(\tau )}\end{array}$$

当然，${\theta }_{old}$和$\theta$也不能差太多，所以PPO算法实现的时候会考虑两个概率分布的相对熵或者考虑截断，如图，

其中，$J^{{\theta }^k}(\theta )$就是我们这边的$\bar{R}$。最大化这个就可以得到$\theta$的更新。

此外，PPO算法还考虑基线和折扣因子，这都是对我们公式中$R(\tau )$进行改写的。这两个trick比较简单，我太懒了，不想写了，就到这儿吧。

代码可以参考这个。