《Proximal Policy Optimization Algorithms》--强化学习论文笔记

原文链接
Markdown公式速写

1. policy gradient 从on policy到 off policy

policy gradient：

$\nabla \overline{R_{\theta }}=E_{\tau \sim p_{\theta }(\tau )}[R(\tau )\nabla log{p}_{\theta }(\tau )]$

• 更新过程：actor与环境互动，生成轨迹 $\tau$, 之后按照梯度上升的方式更新policy network的参数。
• 问题：虽然使用相同轨迹执行多步优化看上去很秀，但是这样操作并不合理，实验证明它通常会导致破坏性的大策略更新
  （感觉我的毕设是不是也存在这个问题？？？？？？？）
• 分析：按照公式，数据应该是从现在的policy $\theta$ 的分布中采样出来，然而当每次结束一回合，更新了参数之后，原本的$\theta$已经发生变化，原有采样出的数据就不能再使用了，需要重新获取数据，因此生成数据需要耗费大量的时间。
• 改进：使用另外的policy ${\theta }^{\prime }$ 来与环境交互生成数据，来训练$\theta$(数据可以多次用来做梯度上升更新网络）

2. importance sampling

$$E_{x\sim p}[f(x)]\approx \frac{1}{N}\sum _{i=1}^{N}f(x^i)$$
从$p$的分布中采样x，代入到f(x)中，计算f(x)的期望值, 其中$x^i$是从$p(x)$中采样得到的。

问题：如果现在无法从$p(x)$中采样到$x$, 只有从另一个分布$q(x)$中采样的数据$x^i$，该如何计算原目标表达式？
$$E_{x\sim p}[f(x)]=\int f(x)p(x)dx=\int f(x)\frac{p(x)}{q(x)}q(x)dx=E_{x\sim q}[f(x)\frac{p(x)}{q(x)}]$$

按照上式，理论上来说，可以用另一个随机分布$q(x)$替换$p(x)$
但是，$$E_{x\sim p}[f(x)]=E_{x\sim q}[f(x)\frac{p(x)}{q(x)}]$$

$$Va{r}_{x\sim p}[f(x)]\ne Va{r}_{x\sim q}[f(x)\frac{p(x)}{q(x)}]$$
根据$Var[X]=E[X^2]-(E[X]{)}^2$可得，
$$Va{r}_{x\sim q}[f(x)\frac{p(x)}{q(x)}]=E_{x\sim q}[(f(x)\frac{p(x)}{q(x)}{)}^2]-(E_{x\sim q}[f(x)\frac{p(x)}{q(x)}]{)}^2=E_{x\sim p}[f(x{)}^2\frac{p(x)}{q(x)}]-(E_{x\sim p}[f(x)]{)}^2$$

综上
$$Va{r}_{x\sim p}[f(x)]=E_{x\sim p}[f(x{)}^2]-E_{x\sim p}([f(x)]{)}^2(1)$$
$$Va{r}_{x\sim q}[f(x)\frac{p(x)}{q(x)}]=E_{x\sim p}[f(x{)}^2\frac{p(x)}{q(x)}]-(E_{x\sim p}[f(x)]{)}^2(2)$$
比较两式可得，（2）中等号后第一项在结构上多了$\frac{p(x)}{q(x)}$,
理论上，对$p(x)$和$q(x)$采样足够多次，得到的期望的值是一样的，但是如果采样的数据不够多，$\frac{p(x)}{q(x)}$差距又很大的话，因为方差的差距会很大，那么得到的期望值会有非常大的差距。

如图，假设我们通过$q(x)$中采样的数据来计算$p$分布中的$E[f(x)]$，$p(x)$、$q(x)$和$f(x)$的曲线如图所示，假设交点对应的点为$(0,0)$点，由图像可知，在$p(x)$中采样得到的数据绝大多数$f(x)$为负值，$E[f(x)]$为负值，而在$q(x)$中采样时，如果只采样较少数据，极大概率值只能采样到如图右边绿色圆点所示（$q(x)$中数据集中区）的数据，由此计算出的期望必定为正值，结果与实际不符，只有当采样足够多的数据时，才可能采样到$q(x)$左侧的数据，得到$f(x)$为负的情况，而此时，这一项会乘以$\frac{p(x)}{q(x)}$这一很大的权重，才能平衡到大量采样到期望为正的数据的计算结果，使得最终结果与$p(x)$分布中的期望逼近。

3. PPO/TRPO

由1，2，policy gradient可实现on policy ->off policy的转化

即$$\nabla \overline{R_{\theta }}=E_{\tau \sim p_{\theta }(\tau )}[R(\tau )\nabla log{p}_{\theta }(\tau )]\Rightarrow \nabla \overline{R_{\theta }}=E_{\tau \sim p_{{\theta }^{\prime }}(\tau )}[\frac{p_{\theta }(\tau )}{p_{{\theta }^{\prime }}(\tau )}R(\tau )\nabla log{p}_{\theta }(\tau )]$$
${\theta }^{\prime }$用来与环境交互采样数据，示范给$\theta$, $\theta$可以更新参数很多次，数据可以重复利用。

又在policy gradient中，更新参数时，每一步使用相同的$R(\tau )$是不合理的，应该使用从当前动作到最终动作的 [accumulated reward-baseline] 作为此动作的收益，即Advantage function的思想，可以表示为：
gradient for update
$$=E_{(s_t,a_t)\sim {\pi }_{\theta }}[A^{\theta }(s_t,a_t)\nabla log{p}_{\theta }(a_t^n|s_t^n)]$$
$$=E_{(s_t,a_t)\sim {\pi }_{{\theta }^{\prime }}}[\frac{P_{\theta }(s_t,a_t)}{P_{{\theta }^{\prime }}(s_t,a_t)}{A}^{{\theta }^{\prime }}(s_t,a_t)\nabla log{p}_{\theta }(a_t^n|s_t^n)]$$
$$=E_{(s_t,a_t)\sim {\pi }_{{\theta }^{\prime }}}[\frac{p_{\theta }(a_t|s_t)}{p_{{\theta }^{\prime }}(a_t|s_t)}\frac{p_{\theta }(s_t)}{p_{{\theta }^{\prime }}(s_t)}{A}^{{\theta }^{\prime }}(s_t,a_t)\nabla log{p}_{\theta }(a_t^n|s_t^n)]$$

$p_{\theta }(s_t)$和$p_{{\theta }^{\prime }}(s_t)$看是一样的（环境因素）,此项可消去

综上，由$$\nabla f(x)=f(x)\nabla logf(x)$$得：$$J^{{\theta }^{\prime }}(\theta )=E_{(s_t,a_t)\sim {\pi }_{{\theta }^{\prime }}}[\frac{p_{\theta }(a_t|s_t)}{p_{{\theta }^{\prime }}(a_t|s_t)}{A}^{{\theta }^{\prime }}(s_t,a_t)]$$

如何避免$p(\theta )$和$p({\theta }^{\prime })$相差过大，即是PPO/TRPO完成的事情 -----【add constraint】

Proximal Policy Optimization(PPO):
$$J_{PPO}^{{\theta }^{\prime }}(\theta )=J^{{\theta }^{\prime }}(\theta )-\beta KL(\theta ,{\theta }^{\prime })$$

-------KL散度放在了梯度的表达式中，易操作

Trust Region Policy Optimization(TRPO)：
$$J_{TRPO}^{{\theta }^{\prime }}(\theta )=E_{(s_t,a_t)\sim {\pi }_{{\theta }^{\prime }}}[\frac{p_{\theta }(a_t|s_t)}{p_{{\theta }^{\prime }}(a_t|s_t)}{A}^{{\theta }^{\prime }}(s_t,a_t)]$$

----------- $KL(\theta ,{\theta }^{\prime })<\delta$作为额外约束条件，难算

两者的差距不是提现在参数本身的差距，而是behavior distance: 给定相同的state, 得到的action的距离（网络得到的action的概率分布)不能相差太多。得到action的概率分布的相似程度，用KL散度来计算，将KL divergence（KL散度）作为PPO的似然函数的一部分，如下节。

4. PPO算法

• initial policy parameters ${\theta }^0$
• in each iteration:
  • using ${\theta }^k$ to interact with env to collect {$s_t,a_t$} and compute $A^{{\theta }^k}(s_t,a_t)$
  • find $\theta$ optimizing $J_{PPO}(\theta )$
    $J_{PPO}^{{\theta }^k}(\theta )=J^{{\theta }^k}(\theta )-\beta KL(\theta ,{\theta }^k)$
  • if $KL(\theta ,{\theta }^k)>K{L}_{max},increase\beta$
  • if $KL(\theta ,{\theta }^k)<K{L}_{min},decrease\beta --adaptiveKLpenalty$

PPO2

PPO的另一种实现方法，通过clip裁剪，约束两个分布之间的相似性。

$$J_{PPO2}^{{\theta }^k}(\theta )\approx \sum _{(s_t,a_t)}min(\frac{p_{\theta }(a_t|s_t)}{p_{{\theta }^k}(a_t|s_t)}{A}^{{\theta }^k}(s_t,a_t),clip(\frac{p_{\theta }(a_t|s_t)}{p_{{\theta }^k}(a_t|s_t)},1-\epsilon ,1+\epsilon )A^{{\theta }^k}(s_t,a_t))$$

A>0时，必然要增加$p_{\theta }(a_t,s_t)$, update参数直到$\frac{p_{\theta }(a_t|s_t)}{p_{{\theta }^k}(a_t|s_t)}$超出临界值$1+\epsilon$为止，控制$\theta$与${\theta }^k$不能相差过多。
A<0时同理。
OpenAI给出的PPO算法伪代码：

流程图：