近端策略优化算法(PPO)

策略梯度算法(PG)

策略梯度迭代，通过计算策略梯度的估计，并利用随机梯度上升算法进行迭代。其常用的梯度估计形式为：
$${\hat{\mathbb{E}}}_t[{\nabla }_{\theta }log{\pi }_{\theta }(a_t|s_t){\hat{A}}_t]$$
其中${\pi }_{\theta }$为随机策略，${\hat{A}}_t$是优势函数在时间步t的估计，其损失函数为：
$$L^{PG}(\theta )={\hat{\mathbb{E}}}_t[lo{g}_{{\pi }_{\theta }}(a_t|s_t){\hat{A}}_t]$$

信赖域策略优化(TRPO)

TRPO要优化的目标函数如下：
$$maximiz{e}_{\theta }\hat{\mathbb{E}}[\frac{{\pi }_{\theta (a_t|s_t)}}{{\pi }_{{\theta }_{old}}(a_t|s_t)}{\hat{A}}_t]$$
$$subjectto\widehat{{\mathbb{E}}_t}[KL[{\pi }_{old}(\cdot |s_t)||{\pi }_{\theta }(\cdot |s_t)]]\le U$$

近端策略优化算法(PPO)

截断替代目标(PPO1)

令$$r_t(\theta )=\frac{{\pi }_{\theta (a_t|s_t)}}{{\pi }_{old}(a_t|s_t)}$$，那么$r({\theta }_{old})=1$。TRPO把目标函数替换为：
$$L^{CPL}(\theta )=\hat{\mathbb{E}}[\frac{{\pi }_{\theta (a_t|s_t)}}{{\pi }_{{\theta }_{old}}(a_t|s_t)}{\hat{A}}_t]={\hat{\mathbb{E}}}_t[r_t(\theta ){\hat{A}}_t]$$

$L^{CPL}$指的是前述TRPO中的保守策略迭代，如果不加约束，最大化$L^{CPL}$会产生较大幅度的梯度更新。为了惩罚策略的变化(使得$r_t(\theta )$远离1，新旧策略的KL散度不能太大)，使用了以下的目标函数：
$$L^{CLIP}(\theta )=\hat{\mathbb{E}}[min(r_t(\theta ){\hat{A}}_t,clip(r_t(\theta ),1-ϵ,1+ϵ){\hat{A}}_t)]$$
原论文中取$ϵ=0.2$，直观示意图如下：

即：

当A>0时，如果$r_t(\theta )>1+ϵ$，则$L^{CLIP}(\theta )=(1+ϵ){\hat{A}}_t$；如果$r_t(\theta )<1+ϵ$，则$L^{CLIP}(\theta )=r_t(\theta ){\hat{A}}_t$；

当A<0时，如果$r_t(\theta )>1-ϵ$，则$L^{CLIP}(\theta )=r_t(\theta ){\hat{A}}_t$；如果$r_t(\theta )<1-ϵ$，则$L^{CLIP}(\theta )=(1-ϵ){\hat{A}}_t$；

自适应KL惩罚系数 (PPO2)

在TRPO中，使用"自适应惩罚系数"$\beta$来约束KL散度，在该算法的最简单实例中，在每一步策略更新中执行以下步骤：

• 使用多个minibatch SGD，优化KL惩罚的目标
  $$L^{KLPEN}(\theta )={\hat{\mathbb{E}}}_t[\frac{{\pi }_{\theta (a_t|s_t)}}{{\pi }_{{\theta }_{old}}}(a_t|s_t){\hat{A}}_t-\beta KL[{\pi }_{{\theta }_{old}}(\cdot |s_t),\pi (\cdot |s_t)]]$$

• 计算$d=\hat{\mathbb{E}}[KL[{\pi }_{{\theta }_{old}}(\cdot |s_t),\pi (\cdot |s_t)]]$

如果$d<d_{targ}/1.5,\beta <-\beta /2$
如果$d>d_{targ}\ast 1.5,\beta <-\beta \ast 2$

实验中，PPO2的效果可能没有PPO1的效果好。

更复杂的版本

$$L_t^{CLIP+VF+S}(\theta )={\hat{E}}_t[L_t^{CLIP}(\theta )-c_1{L}_t^{VF}(\theta )]+c_{2}S[{\pi }_{\theta }](s_t)]$$
其中$c1$，$c2$是系数，$S$表示熵奖励，$L_t^{VF}$是平方误差损失$(V_{\theta }(s_t)-V_t^{targ}{)}^2$

优势估计函数为
$${\hat{A}}_t=-V(s_t)+r_t+\gamma r_{t+1}+...+{\gamma }^{T-t+1}{r}_{T-1}+{\gamma }^{T-t}V(s^T)$$

另外，我们可以使用广义优势函数来扩广${\hat{A}}_t$，当$\lambda =1$时，它趋近于上面的等式
$${\hat{A}}_t=\delta +(\gamma \lambda ){\delta }_{t+1}+...+...+\gamma {\lambda }^{T-t+1}{\delta }_{T-1}$$
$where{\delta }_t=r_t+\gamma V(s_{t+1}-V(s_t))$

使用固定长度轨迹的近端策略优化(PPO)算法

如下所示：

$AlgorithmPPO,Actor-CriticStyle$
$foriteration=1,2,...,do$
$foractor=1,2,...,N,do$
$Runpolicy{\pi }_{{\theta }_{old}}$ in environment for T timesteps
$Computeadvantageestimates{\hat{A}}_1,...,{\hat{A}}_T$
$endfor$
$OptimizesurrogateLwrt\theta ,withKepochsandminibatchsizeM<=NT$
$endfor$

推荐阅读：

李宏毅机器学习系列-强化学习之近端策略优化PPO
该博文从Import Sampling的角度叙述了PPO的演化。

个人认为写得最好的TRPO讲解
该博文从数学方面叙述了PPO的推导。