【强化学习】随机策略梯度算法（stochastic-policy-gradient）

策略搜索方法相对于值函数法有如下优缺点
优点：

1. 直接策略搜索方法是对策略$\pi$进行参数化表示，与值函数方中对值函数进行参数化表示相比，策略参数化更简单，有更好的收敛性。
2. 利用值函数方法求解最优策略时，策略改进需要求解$argma{x}_a{Q}_{\theta }(s,a)$，当要解决的问题动作空间很大或者动作为连续集时，该式无法有效求解。
3. 直接策略搜索方法经常采用的随机策略，能够学习随机策略。可以将探索直接集成到策略之中。

缺点：

1. 策略搜索的方法容易收敛到局部最小值。
2. 评估单个策略时并不充分，方差较大。

一、基础算法推导

本文主要从重要性采样角度进行分析。

策略梯度的目标依旧是最大化累积回报，定义一个参数化策略${\pi }_{\theta }$的期望累积回报如下所示
$$\begin{array}{rl}J(\theta )=E_{\tau \sim p(\tau ;\theta )}& ={\int }_{\tau \sim p(\tau ;\theta )}p(\tau ;\theta )r(\tau )d\tau \end{array}$$
$p(\tau ;\theta )$表示在策略${\pi }_{\theta }$的情况下轨迹$\tau$出现的概率，在计算时无法通过一个不确定参数的分布$p(\tau ;\theta )$进行采样，因此通过重要性采样的方式，推导如下所示。
$$\begin{array}{rl}J(\theta )& ={\int }_{\tau }\frac{p(\tau ;{\theta }_{old})}{p(\tau ;{\theta }_{old})}p(\tau ;\theta )r(\tau )d\tau \\ & ={\int }_{\tau }p(\tau ;{\theta }_{old})\frac{p(\tau ;\theta )}{p(\tau ;{\theta }_{old})}r(\tau )d\tau \\ & =E_{\tau \sim p(\tau ;{\theta }_{old})}[\frac{p(\tau ;\theta )}{p(\tau ;{\theta }_{old})}r(\tau )]\end{array}$$

对上述公式求导，由于策略函数通常是连续可微的良好函数，因此求导和积分符号可以互换。
$$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& ={\int }_{\tau }{\nabla }_{\theta }p(\tau ;\theta )r(\tau )d\tau \\ & ={\int }_{\tau }\frac{p(\tau ;\theta )}{p(\tau ;\theta )}{\nabla }_{\theta }p(\tau ;\theta )r(\tau )d\tau \\ & ={\int }_{\tau }p(\tau ;\theta ){\nabla }_{\theta }\log p(\tau ;\theta )r(\tau )d\tau \\ & =E_{\tau \sim p(\tau ;\theta )}[{\nabla }_{\theta }\log p(\tau ;\theta )r(\tau )]\end{array}$$
上述公式中的$p(\tau ;\theta )$是一个不易计算的部分，化简过程如下
$$p(\tau ;\theta )=p(s_0)\prod _{t=0}^T{\pi }_{\theta }(a_t|s_t)p(s_{t+1}|s_t)$$
对上述公式求导得
$$\begin{array}{rl}{\nabla }_{\theta }\log p(\tau ;\theta )& ={\nabla }_{\theta }[\log p(s_0)+\sum _{t=0}^T\log {\pi }_{\theta }(a_t|s_t)+\sum _{t=0}^{T}p(s_{t+1}|s_t)]\\ & ={\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\end{array}$$
由于状态之间的转移概率与模型的动力学有关，与参数$\theta$无关，所以在求导时消掉。此后我们可以采用蒙特卡洛近似方法进行梯度的近似求解
$$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& =\frac{1}{N}\sum _{i=1}^N{\nabla }_{\theta }\log {\pi }_{\theta }({\tau }_t,\theta )r({\tau }_i)\\ & =\frac{1}{N}\sum _{i=1}^N[(\sum _{t=0}^T{\nabla }_{\theta }\log {\pi }_{\theta }(a_{i,t}|s_{i,t}))(\sum _{t=0}^{T}r(s_{i,t},a_{i,t}))]\end{array}$$
下面具体介绍一下梯度公式的物理意义，如上所示${\nabla }_{\theta }\log {\pi }_{\theta }({\tau }_t,\theta )$是轨迹$\tau$的概率随参数$\theta$变化最陡的方向。参数在该方向上更新时，若沿着正方向，则该轨迹出现的概率增大，若沿着负方向，则该轨迹出现的概率减小。$r(\tau )$表示这条轨迹的累积奖励，若这条轨迹能够获得正向回报，则该轨迹概率增加，回报越多概率增加越大；若这条轨迹获得负回报，则该轨迹概率降低。则参数更新为
$${\theta }_{t+1}={\theta }_t+\alpha {\nabla }_{\theta }J(\theta ){|}_{\theta ={\theta }_t}$$
下面介绍常见的随机策略方法，随机策略通常写为一个确定性策略部分加随机策略部分
$${\pi }_{\theta }={\mu }_{\theta }+\epsilon$$
其中确定性策略可以写为径向基策略，神经网络策略，如下使用线性策略作为确定性策略，随机策略使用高斯策略
$$\begin{array}{r}{\mu }_{\theta }(s)=\varphi (s{)}^T\theta \\ \epsilon \sim N(0,{\sigma }^2)\end{array}$$
则随机策略可以写为
$${\pi }_{\theta }(a|s)=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(a-\varphi (s{)}^T\theta {)}^2}{2{\sigma }^2})$$
通常也可以直接让神经网络产出$N\sim (\mu ,{\sigma }^2)$中的两个参数。

如上就是基本的策略梯度算法推导。下面介绍算法的改进与实现方式。

二、算法改进

根据原始策略公式如下
$${\nabla }_{\theta }J(\theta )=\frac{1}{N}\sum _{i=1}^N[(\sum _{t=0}^T{\nabla }_{\theta }\log {\pi }_{\theta }(a_{i,t}|s_{i,t}))(\sum _{t=0}^{T}r(s_{i,t},a_{i,t}))]$$

1. 优化一

上式有一个问题，不论哪个时刻，策略的梯度都需要乘上所有时刻的回报值总和。但是该时刻t的动作对之前时刻的回报没有任何影响，不应该乘在梯度中。做如下简化
$${\nabla }_{\theta }J(\theta )=\frac{1}{N}\sum _{i=1}^N[(\sum _{t=0}^T{\nabla }_{\theta }\log {\pi }_{\theta }(a_{i,t}|s_{i,t}))(\sum _{t^{\prime }=t}^{T}r(s_{i,t^{\prime }},a_{i,t^{\prime }}))]$$
2. 优化二

上式还有还有三个问题。1.如果权重（累积回报值）较大，那么参数的更新量会变大，这样模型的波动较大，可能影响最终的模型效果。2.在一些强化学习中，环境给与的回报可能一直为正值，那么所有的轨迹的概率都会或多或少的增加，这显然不符合我们的优化目标。我们应当让累积回报大的轨迹概率增加，累积回报小的轨迹概率减小。3.策略采用蒙特卡洛方法，虽然是求期望的无偏估计，但是过分依赖每一次采样轨迹，方差十分大，我们可以引入基线baseline来减小方差。
$${\nabla }_{\theta }J(\theta )=\frac{1}{N}\sum _{i=1}^N[(\sum _{t=0}^T{\nabla }_{\theta }\log {\pi }_{\theta }(a_{i,t}|s_{i,t}))(\sum _{t^{\prime }=t}^{T}r(s_{i,t^{\prime }},a_{i,t^{\prime }})-b)]$$
现证明加入一个常数项$b_{i,t}$不会使原本的估计变得有偏，假设策略估计函数是一个定义良好的函数，求导与积分可以互换。
$$\begin{array}{rl}{E}_{\tau \sim p(\tau ;\theta )}[{\nabla }_{\theta }\log p(\tau ;\theta )b]& ={\int }_{\tau }p(\tau ;\theta ){\nabla }_{\theta }\log p(\tau ;\theta )bd\tau \\ & ={\int }_{\tau }p(\tau ;\theta )\frac{{\nabla }_{\theta }p(\tau ;\theta )}{p(\tau ;\theta )}bd\tau \\ & =b{\int }_{\tau }{\nabla }_{\theta }p(\tau ;\theta )d\tau \\ & =b{\nabla }_{\theta }{\int }_{\tau }p(\tau ;\theta )d\tau \\ & =b{\nabla }_{\theta }1\\ & =0\end{array}$$
因此引入基线$b$不会给梯度估计引入偏差。基线处于减小方差的目标，其选取公式推导如下，令随机变量为
$$X=\sum _{t=0}^T[{\nabla }_{\theta }\log {\pi }_{\theta }(a_{i,t}|s_{i,t})(\sum _{t^{\prime }=t}^{T}r(s_{i,t},a_{i,t})-b)]$$
计算方差为
$$\begin{array}{rl}Var(X)& =E[X-\overline{X}{]}^2\\ & =E[X^2]-(E[\overline{X}]{)}^2\end{array}$$
为了求方差的极小值点，则为梯度为0处
$$\begin{array}{rl}\frac{\partial Var(X)}{\partial b}& =E[X\frac{\partial X}{\partial b}]=0\end{array}$$
可得
$$b=\frac{{\sum }_{i=1}^N[({\sum }_{t=0}^T{\nabla }_{\theta }\log {\pi }_{\theta }(a_{i,t}|s_{i,t}){\sum }_{t^{\prime }=t}^{T}r(s_{i,t^{\prime }},a_{i,t^{\prime }}))({\sum }_{t=0}^T{\nabla }_{\theta }\log {\pi }_{\theta }(a_{i,t}|s_{i,t}))]}{{\sum }_{i=1}^N({\sum }_{t=0}^T{\nabla }_{\theta }\log {\pi }_{\theta }(a_{i,t}|s_{i,t}){)}^2}$$

三、算法实现

我们现在拿到了随机策略梯度公式
$$\begin{array}{r}{\nabla }_{\theta }J(\theta )=E_{s\sim {\rho }_{{\pi }_{\theta }},a\sim {\pi }_{\theta }}[{\nabla }_{\theta }\log \pi (a|s)(Q(s,a)-b)]\end{array}$$
为了方便实现，根据上述梯度公式，我们可以将策略梯度的损失函数写为
$$\begin{array}{rl}L& =-E_{s\sim {\rho }_{{\pi }_{{\theta }_{old}},a\sim {\pi }_{{\theta }_{old}}}}[\log {\pi }_{\theta }(a|s)(Q(s,a)-b)]\\ & =-\iint {\pi }_{{\theta }_{old}}\log {\pi }_{\theta }(a|s)(Q(s,a)-b)dsda\end{array}$$
上式可以看做是新老策略分布的交叉熵乘上累积回报值。可以通过最小化上述损失函数求解。下面是《Reinforcement Learning: An Introduction》书中的算法，细节上可能有点出入