Proximal Policy Optimization(PPO 近似策略优化)---李宏毅课堂笔记

on-policy vs off-policy

on-policy ：此agent与environment互动的agent是同一个，简单来说就是你自己玩王者荣耀，然后不断地从失败中吸取教训，最后越玩越好。Policy Gradigent就是on-policy。
off-policy：此agent与environment互动的agent不是同一个，比如就像你看游戏博主教你玩王者荣耀，告诉你各种技巧，然后你从直播中学习，最后提高技能。我们本文中提到的PPO是off-policy。
在Policy Gradigent中我们知道 $$\nabla {\overline{R}}_{\theta }=E_{\tau -p_{\theta (\tau )}}[R(\tau )\nabla \log p_{\theta }(\tau )]$$ 在policy gradigent中$\theta$更新的话，我们采样的数据也会更新。就像我们每次输的时候都会掉级，嘿嘿，我有一天下午从白金掉到了黄铜。
我们想要的是用${\pi }_{{\theta }^{\prime }}$采样数据来训练$\theta$，当${\theta }^{\prime }$更新时我们可以重复用采样数据，就像我们可以不停的看视频来学习提高技巧，不需要掉级。

重要采样

$E_{x-p}[f(x)]=\frac{1}{N}{\sum }_{i=1}^{N}f(x^i)$ 此公式是说从$p(x)$取$N$个样本，但是如果此$x^i$并不是在$p(x)$中而是在$q(x)$中因为：
$$E_{x-p}[f(x)]=\int f(x)p(x)dx$$
且
$$\int f(x)p(x)dx=\int f(x)\frac{p(x)}{q(x)}q(x)dx=E_{x-q}[\frac{p(x)}{q(x)}f(x)]$$
此时
$$E_{x-p}[f(x)]=E_{x-q}[\frac{p(x)}{q(x)}f(x)]$$
那么我们在想$Va{r}_{x-p}[f(x)]$ 与$Va{r}_{x-q}[f(x)]$一样吗？

答案是否定的，那么何时他们的方差也相等呢？

首先我们可以知道
$$Var[x]=E[f(x{)}^2]-[Ef(x){]}^2$$
那么我们可以计算出
$$Va{r}_{x-p}[f(x)]=E_{x-p}[f(x{)}^2]-[E_{x-p}f(x){]}^2$$
$$\begin{gathered} Va{r}_{x-q}[f(x)\frac{p(x)}{q(x)}]=E_{x-q}[f(x{)}^2(\frac{p(x)}{q(x)}{)}^2]-[E_{x-q}(f(x)\frac{p(x)}{q(x)}){]}^2 \\ =\int f(x{)}^2(\frac{p(x)}{q(x)}{)}^{2}q(x)dx-[E_{x-p}f(x){]}^2 \\ =\int f(x{)}^2\frac{p(x)}{q(x)}p(x)dx-[E_{x-p}f(x){]}^2 \\ =E_{x-p}[f(x{)}^2\frac{p(x)}{q(x)}]-[E_{x-p}f(x){]}^2 \end{gathered}$$
所以$Va{r}_{x-p}[f(x)]-Va{r}_{x-q}[f(x)\frac{p(x)}{q(x)}]=E_{x-p}[f(x{)}^2]-E_{x-p}[f(x{)}^2\frac{p(x)}{q(x)}]$,此时若是$\frac{p(x)}{q(x)}$越接近，那么它的方差也越接近。

重要采样遇到的问题

若当我们从q(x)中采样不够多的话，就会遇到如图的情况：如果从q(x)只采样到了右边那四个点，那么$E_{x-q}[f(x)]$是正的，而$E_{x-p}[f(x)]$是负的。若采样足够，假设取到左边的那个点，因为$\frac{p(x)}{q(x)}$足够的大，$\frac{p(x)}{q(x)}f(x)$将是很大的负的，这样就有可能使得 $E_{x-p}[f(x)]=E_{x-q}[\frac{p(x)}{q(x)}f(x)]$

运用重要采样的思想

on-policy :Policy Gradigent中我们知道 $$\nabla {\overline{R}}_{\theta }=E_{\tau -p_{\theta (\tau )}}[R(\tau )\nabla \log p_{\theta }(\tau )]$$
off-policy:从${\theta }^{{}^{\prime }}$中取样，可以用数据训练$\theta$很多次$$\nabla {\overline{R}}_{\theta }=E_{\tau -p_{{\theta }^{{}^{\prime }}(\tau )}}[\frac{p_{\theta (\tau )}}{p_{{\theta }^{{}^{\prime }}(\tau )}}R(\tau )\nabla \log p_{\theta }(\tau )]$$
梯度更新

$$\begin{gathered} =E_{(s_t,a_t)-{\pi }_{\theta }}[A^{\theta }(s_t,a_t)\nabla \log p_{\theta }(a_t^n|s_t^n)] \\ =E_{(s_t,a_t)-{\pi }_{{\theta }^{{}^{\prime }}}}[\frac{p_{\theta }(a_t,s_t)}{p_{\theta }^{{}^{\prime }}(a_t,s_t)}{A}^{{\theta }^{{}^{\prime }}}(s_t,a_t)\nabla \log p_{\theta }(a_t^n|s_t^n)] \\ =E_{(s_t,a_t)-{\pi }_{{\theta }^{{}^{\prime }}}}[\frac{p_{\theta }(a_t|s_t)}{p_{\theta }^{{}^{\prime }}(a_t|s_t)}\frac{p_{\theta }(s_t)}{p_{\theta }^{{}^{\prime }}(s_t)}{A}^{{\theta }^{{}^{\prime }}}(s_t,a_t)\nabla \log p_{\theta }(a_t^n|s_t^n)] \end{gathered}$$其中$\frac{p_{\theta }(s_t)}{p_{\theta }^{{}^{\prime }}(s_t)}$可以省略
因为$\nabla f(x)=f(x)\nabla \log f(x)$
所以我们根据此公式可以得出 $\nabla \log p_{\theta }(a_t^n|s_t^n)p_{\theta }(a_t|s_t)=\nabla p_{\theta }(a_t|s_t)$
$$J^{{\theta }^{{}^{\prime }}}(\theta )=E_{(a_t,s_t)-{\pi }_{{\theta }^{{}^{\prime }}}}[\frac{p_{\theta }(a_t|s_t)}{p_{\theta }^{{}^{\prime }}(a_t|s_t)}{A}^{{\theta }^{{}^{\prime }}}(s_t,a_t)]$$

PPO算法

$$J_{PPO}^{{\theta }^{{}^{\prime }}}(\theta )=J^{{\theta }^{{}^{\prime }}}(\theta )-\beta KL(\theta ,{\theta }^{{}^{\prime }})$$

1. 初始化${\theta }^0$
2. 优化$J_{PPO}^{{\theta }^k}(\theta )=J^{{\theta }^k}(\theta )-\beta KL(\theta ,{\theta }^k)$
3. if $KL(\theta ,{\theta }^k)>K{L}_{max}$ $\beta$增大，因为KL大的候，$\theta$和${\theta }^k$之间差距很大，此时增大$\beta$，增大后面的作用。if $KL(\theta ,{\theta }^k)<K{L}_{min}$ $\beta$减小，因为KL小的候，$\theta$和${\theta }^k$之间很像，此时减小$\beta$，减小后面的作用。

PPO2算法

1. PPO2算法是PPO算法的改进，比后者更好计算。
2. $clip(\frac{p_{\theta }(a_t|s_t)}{p_{\theta }^k(a_t|s_t)},1-ϵ,1+ϵ)$的意思是$\frac{p_{\theta }(a_t|s_t)}{p_{\theta }^k(a_t|s_t)}<1-ϵ$时$clip(\frac{p_{\theta }(a_t|s_t)}{p_{\theta }^k(a_t|s_t)},1-ϵ,1+ϵ)=1-ϵ$
   当$\frac{p_{\theta }(a_t|s_t)}{p_{\theta }^k(a_t|s_t)}>1+ϵ$时$clip(\frac{p_{\theta }(a_t|s_t)}{p_{\theta }^k(a_t|s_t)},1-ϵ,1+ϵ)=1+ϵ$如图所示：
3. PPO2算法公式：$$J_{PPO2}^{{\theta }^k}(\theta )=\sum _{(s_t,a_t)}min(\frac{p_{\theta }(a_t|s_t)}{p_{\theta }^k(a_t|s_t)}{A}^{{\theta }^k}(s_t,a_t),clip(\frac{p_{\theta }(a_t|s_t)}{p_{\theta }^k(a_t|s_t)},1-ϵ,1+ϵ)A^{{\theta }^k}(s_t,a_t))$$
4. $$min(\frac{p_{\theta }(a_t|s_t)}{p_{\theta }^k(a_t|s_t)},clip(\frac{p_{\theta }(a_t|s_t)}{p_{\theta }^k(a_t|s_t)},1-ϵ,1+ϵ))$$的图像如下图：
5. 若A>0,说明reward是好的，那么我们就希望$p_{\theta }(a_t|s_t)$越大越好，但是$\frac{p_{\theta }(a_t|s_t)}{p_{\theta }^k(a_t|s_t)}$的比值不能超过$1+ϵ$;若A<0,说明reward不好的，那么我们就希望$p_{\theta }(a_t|s_t)$越小越好，但是$\frac{p_{\theta }(a_t|s_t)}{p_{\theta }^k(a_t|s_t)}$的比值不能少于$1-ϵ$