PPO算法解析

在2017年的时候，无论是openai或者是deepmind，在深度强化学习领域都取得了重大突破，而能带来这个突破的一个重要因素便是PPO(Proximal Policy Optimization)算法的应用。
Openai和Deepmind各自都有一篇关于PPO的论文，虽然论文是deepmind先发的，但显然deepmind在这一点上就有点不讲武德了。很明显，ppo真正的创新点还是在于Openai的科学家Shulman对自己以前提出的TRPO的简化，并且他们在2016年的NIPS上就已经提出了PPO，deepmind的人在学习了人家的算法后的分布计算改进就显得有些微不足道了...因此本文关于PPO的讲解也以OpenAI的论文为准。

Motivation

首先明确一点，虽然PPO实际上只是在计算Policy Gradient上做了点改动，但它其实是诞生和作用于Actor Critic架构之下的，因此我们说的PPO是AC方法而不是单纯的Policy Gradient方法，并且这个Policy Gradient是增加了baseline的，于是PPO会跟A2C看起来很像，如果你理解了A2C，就会很容易理解PPO。

正如开头所说，PPO的出现是因为OpenAI科学家对TRPO的简化，因此PPO实际上要解决的是同TRPO相同的问题：我们如何利用现有数据，在策略上采取最大的改进措施，而不会导致意外的训练崩溃？ TRPO通过复杂的二阶方法来解决这个问题，而PPO这是一阶的方法，因此PPO的试用范围更广、计算效率更高、更容易实现，并且从OpenAI的经验上来看，至少效果是不比TRPO差的。

正因为PPO算法的效果和最先进更复杂的方法相当甚至更好，同时易于实现和调整，它成为了OpenAI研究新问题的默认强化学习算法。

Policy Gradient

先来简单看一下基本的Policy Gradient,它是状态价值关于策略 的参数求的梯度：

然后在原始的PG上增加一个与action无关的baseline，一般取于是增加了baseline的Policy Gradient可以写作：

此处的期望没法直接求，因此需要利用蒙特卡洛近似，而根据上式就可以发现增加恰当的baseline可以降低蒙特卡洛近似梯度的方程，从而加速收敛，这也是引入baseline的意义。

于是我们通过梯度上升来更新策略的参数:
但是，实际使用中，容易发现原始的PG算法对更新步长十分敏感，如果步长小了，很容易陷入局部最优难以收敛，步长大了，则又会经常导致训练直接崩溃，效果越来越差。

PPO

为了处理更新补偿的问题，PPO的思路其实非常简单粗暴，就是通过改造目标函数来将更新幅度限制在合理的范围内。

PPO修改了原始的Policy Gradient公式，不再使用来跟踪agent的行动效果，而是使用当前策略的行动概率 与上一个策略的行动概率 的比值：

显而易见的， 表明了新旧策略选择某个action的概率比：当时，说明当前的策略更倾向于选择采样动作,否则就是更不倾向于。
原先的Policy Gradient可以使用新的目标函数替代：

再看一眼 ,它可能会很大或接近于0，这是不满足我们希望限制 每次更新幅度的初衷的，为了对其有所限制，于是便有了常见的两种PPO变体：PPO-Penalty和 PPO-Clip。

PPO-Penalty使用类似TRPO的增加KL散度来约束更新的方法：

当KL散度大时，增大，当KL散度小时减小

而 PPO-Clip则是采用了一种更加简化的方式，这可以当做是一种工程经验，当算法工程师弄了这么个简单粗暴的剪裁方式之后，效果反而变好了，因此OpenAi主要用的便是这种变体：

观察这个新的目标函数，容易知道结果有两种情况：

当Advantage函数值大于0，即该action好于在该状态下行动的平均分，因此在策略上应该增加在该状态选择该action的概率，反之减小选择该action的概率。同时 函数的存在限制了过大的更新防止agent因为蒙特卡洛采样的不确定性而导致了糟糕的策略。

Paper

Proximal Policy Optimization Algorithms