[TRPO] Trust Region Policy Optimization

论文链接：http://proceedings.mlr.press/v37/schulman15
引用：Schulman J, Levine S, Abbeel P, et al. Trust region policy optimization[C]//International conference on machine learning. PMLR, 2015: 1889-1897.

概述

Trust Region Policy Optimization (TRPO) 算法是一个 model-free、policy-based、on-policy、Mento Carlo 的算法，且支持连续的状态空间和连续的动作空间，也支持高维输入、神经网络作为函数approximator。

主要的特点

• 最小化某个替代的损失函数以保证策略能够被单调地改进
• 在理论上合理地对算法进行一系列近似

主要的近似过程

• 首先，对于policy gradient或者policy-based的更新算法，最重要的系数之一是步长 ，如果它非常小，则我们无法有效地更新策略；或者如果它非常大，那么学习可能会变得非常不稳定，甚至越来越差。

• 然后文章介绍了 Kakade & Langford (2002) 的一个公式：

  这个式子着我们可以给原始的成本函数（cost function）后添加一个附加项, 如果这个项 是一个负值，则这一步可以保证降低成本函数。

• 然后将等式的右侧定义为 , 这就是优化的主要目标。

• 然后第一个近似值来了：由于新策略下的状态分布很难得到，因此将新策略近似地替换为旧策略，即忽略策略变化导致的每个状态访问次数的密度的变化：

  请注意，现在，我们对状态访问分布使用了旧的策略 。

• 另有一个已经证明的理论说明了：只要如下的这个更新的步骤足够小：，那他就也能够提升 本身（具体过程可看原文）

• 然后基于保守策略迭代（conservative policy iteration）理论：
  

  以及 Kakade 和 Langford 已经证明了的如下结果:

  引出了第二个近似值：假设这里的步长满足 ，那么就可以将上述不等式近似为：

• 目前为止，步长 是最重要的一个系数，本文也主要是针对此进行的研究，那么第三个近似值来了：用 和 之间的距离度量来代替，这里的距离衡量的量被定为总方差散度（total variance divergence：

  
  

• 然后第四个近似值来了：根据KL散度和总方差散度之间存在的不等关系，用KL散度替换总方差散度：

• 现在问题的主要目标就变为了：

• 接下来，第五个近似值来了：把上面公式的右边部分改成一个硬值约束：

  
  

• 最后，因为算子使优化变得很困难，所以第六个近似值来了：使用平均的KL散度而不是最大值进行计算：

  
  

• 现在已经有了理论公式，但在实践中，需要对其进行进一步的近似，因此他们使用了重要性采样。 最后（第七个）的近似值变为：

  
  

两种算法实现方式

• Single Path：从的分布中采样若干个，然后对每一个起始进行simulate，往下进行步，从而可以计算值
• Vine：从开始往后进行多个state，然后从这些state开始，每个state根据动作的分布rollout若干个的动作（分支）

具体的例子如下图所示：

single path and vine approach