浅析强化学习Proximal Policy Optimization Algorithms(PPO)

Actor-Critic网络

PPO是基于AC网络架构实现的。

Actor网络

PPO有一个Actor网络，Actor输入的维度为state_dim，即状态维数，输出维度为action_dim，意义是每个action的高斯策略的均值，另外，Actor网络还有action_dim个标准差参数，这样在输入一个state后，每个动作都对应一个一维的高斯分布。

Critic网络

PPO有一个Critic，Critic网络是用来拟合状态值函数$v_{\pi }(s)={\mathrm{E}}_{\pi }\left[{\sum }_{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}\mid S_t=s\right]$的，其输出维度为1。

PPO更新关键思想

PPO是一种策略梯度改善算法，因为策略梯度对学习率敏感，易出现训练崩溃现象，由此衍生了TRPO等改善更新步幅的算法，策略梯度的优化损失函数可以表示为：$L^{PG}(\theta )={\hat{\mathbb{E}}}_t\left[\log {\pi }_{\theta }\left(a_t\mid s_t\right){\hat{A}}_t\right]$，而PPO的损失函数可以表为：$L^{CPI}(\theta )={\hat{\mathbb{E}}}_t\left[\frac{{\pi }_{\theta }\left(a_t\mid s_t\right)}{{\pi }_{{\theta }_{\text{old }}}\left(a_t\mid s_t\right)}{\hat{A}}_t\right]={\hat{\mathbb{E}}}_t\left[r_t(\theta ){\hat{A}}_t\right]$，其考虑了old网络与新更新参数之间的差异性，为了避免差异过大，引入clip来限制：
$$L^{CLIP}(\theta )={\hat{\mathbb{E}}}_t\left[\min \left(r_t(\theta ){\hat{A}}_t,\mathrm{clip}\left(r_t(\theta ),1-ϵ,1+ϵ\right){\hat{A}}_t\right)\right]$$
其中：$r_t(\theta )=\frac{{\pi }_{\theta }\left(a_t\mid s_t\right)}{{\pi }_{{\theta }_{\text{old }}}\left(a_t\mid s_t\right)}$。其作用效果如论文中的下图：

这就是PPO2算法的核心思想。如何计算$r_t(\theta )=\frac{{\pi }_{\theta }\left(a_t\mid s_t\right)}{{\pi }_{{\theta }_{\text{old }}}\left(a_t\mid s_t\right)}$中的分子分母是之后要讲的。

Actor网络求$r_t(\theta )$

$r_t(\theta )$中有${\pi }_{old}$和$\pi$，其中前者在更新buffer时agent利用旧策略接受状态输出动作时可以计算的：

1. 输入state至Actor；
2. 得到每个动作维度的均值；
3. 和每个动作的标准差构成每个维度的高斯分布；
4. 对高斯分布采样得到动作a_noise；
5. 将a_noise代入高斯分布的式子$\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{(a_{noise}-\mu {)}^2}{2{\sigma }^2}\right)$；
6. 为了方便后续计算可以对其取ln，并对其求和，拿到一个标量。

对于$r_t(\theta )$中的$\pi$，它是在更新网络时的新策略，其接受的是旧策略探索得到的buffer中存储的state和action：

1. 输入state至Actor；
2. 得到每个动作维度的均值；
3. 和每个动作的标准差构成每个维度的高斯分布；
4. 将action代入高斯分布的式子$\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{(action-\mu {)}^2}{2{\sigma }^2}\right)$；
5. 方便计算取ln，并对其求和，拿到一个标量。

PPO整体工作流程

PPO是on-policy算法（少数人认为它off-policy，不过我不赞同）。

1. PPO在每一个episode先清空buffer，再利用旧策略（相对于马上得到的新策略而言）探索环境update buffer，这个buffer装入（r,mask,state,action,$ln{\pi }_{old}(a_t|s_t)$）
2. 当buffer中有一定样本后开始更新策略。返回第一步。

注意，每次更新完都会清空buffer，这可和off-policy算法不同。

更新策略

1. 从buffer中带顺序取出所有样本（r,mask,state,action,$ln{\pi }_{old}(a_t|s_t)$）
2. 利用critic net将state的V值预测出来。
3. 利用GAE计算Advantage（${\hat{A}}_t$）
4. for i in sample_times:
   5. 随机从buffer中抽取batchsize个样本以及对应的${\hat{A}}_t$和V值的无偏估计${\sum }_{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}$。
   6. 利用critic net计算这些样本下state的V的估计值。
   7. critic net的loss由其估计值和V值的无偏估计${\sum }_{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}$构成，具体损失函数自定义。
   8. 利用actor net计算在该state，action下新策略的$ln{\pi }_{new}(a_t|s_t)$
   9. 计算$r_t(\theta )=e^{ln{\pi }_{new}(a_t|s_t)-ln{\pi }_{old}(a_t|s_t)}=\frac{{\pi }_{new}(a_t|s_t)}{{\pi }_{old}(a_t|s_t)}$。
   10. 对 $r_t(\theta )$ clip并乘上${\hat{A}}_t$作为loss的第一部分。
   11. 将新策略的熵作为loss的第二部分。（可以不要）
   12. 完成actor和critic的更新（i>1时就有了新策略${\pi }_{new}(a_t|s_t),r_t(\theta )$不为1了。）

关于GAE

策略梯度类算法对于Advantage的算法各种各样，GAE方法给出了一种优异的计算方法：
$$A_t^{GAE(\gamma ,\lambda )}=\sum _{l=0}^{\infty }(\gamma \lambda {)}^l{\delta }_{t+l}^V=\sum _{l=0}^{\infty }(\gamma \lambda {)}^l\left(r_t+\gamma V\left(s_{t+l+1}\right)-V\left(s_{t+l}\right)\right)$$

另外像之前所说的${\sum }_{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}$也是一种计算方法。
关于GAE可以参考：GAE