深度强化学习系列之(5): 策略梯度（Policy Gradient）

对于DQN来说使用一个网络直接逼近了值函数，最后取得了非常不错的效果, 但是对于一些连续性控制或者动作空间特别大的环境来说，很难全部计算所有的值函数来得到最好的策略，那么直接计算策略的方法就别提出来了。

回顾一下前面几篇，所谓的策略，其实就是状态到动作的映射数学表达为 $\pi ：s\to a$，
我们用$\tau$ 表示状态s到最后一个状态的一个序列，表示为：
$$\tau ：s_t,s_{t+1}....s_T$$
那么奖励$R(\tau )$ 是一个随机变量，没法直接作为目标函数被优化，因此采用了随机变量的期望作为目标函数：
$$J=\int r(\tau )P_{\pi }(\tau )d\tau \text{\hspace{1em}(1)}$$
因此强化学习的目标是找到最好的 $\underset{\pi }{\max }\int R(\tau )P_{\pi }(\tau )d\tau$,从最优策略的角度来说，对于序列$ s_{t},s_{t+1}…s_{T}$,最优的策略序列为：$u_{0}^{} \to u_{1}^{} \to u_{2}^{} \to…u_{T}^{}$，总结为：找到最优策略： ${\pi }^{\ast }:s\to u^{\ast }$。

继续从目标函数说起, 由于要用神经网络来计算策略梯度，需要用一个网络结构去逼近策略，在此处我们假设神经网络的结构参数为$\theta$,将目标函数由公式-1变为：
$$J(\theta )=E_{\tau \sim {\pi }_{\theta }(\tau )}[r(\tau )]={\int }_{\tau \sim {\pi }_{\theta }(\tau )}{\pi }_{\theta }(\tau )r(\tau )d\tau \text{\hspace{1em}(2)}$$
推导原因：$f(x)$ 关于某分布$P(x)$的期望，对于连续性变量，期望通过积分求得：
$$E_{x\sim P}[f(x)]=\int p(x)f(x)dx\text{\hspace{1em}(3)}$$

在数学中梯度的含义就是对函数求取导数，在监督学习中，我们求取损失函数的时候经常求取目标函数的梯度。同理，对于策略的目标函数，我们同样对目标函数$J(\cdot )$公式(2)求取梯度：
$${\nabla }_{\theta }J(\theta )={\int }_{\tau \sim {\pi }_{\theta }(\tau )}{\nabla }_{\theta }{\pi }_{\theta }(\tau )r(\tau )d\tau \text{\hspace{1em}(4)}$$
到这里，我们发现并没有方法直接计算，通过导数求导变换得到：
$${\nabla }_{\theta }{\pi }_{\theta }(\tau )={\pi }_{\theta }(\tau ){\nabla }_{\theta }\log {\pi }_{\theta }(\tau )\text{\hspace{1em}(5)}$$
将公式(5)代入(4)得到策略梯度：

$$\begin{gathered} {\nabla }_{\theta }J(\theta )=E_{\tau \sim {\pi }_{\theta }(\tau )}[{\nabla }_{\theta }\log {\pi }_{\theta }(\tau )r\tau ] \\ ={\int }_{\tau \sim {\pi }_{\theta }(\tau )}{\pi }_{\theta }(\tau ){\nabla }_{\theta }\log {\pi }_{\theta }(\tau )r(\tau )d\tau \text{\hspace{1em}(6)} \end{gathered}$$
终于通过变化计算得到了策略梯度的计算方法，但是发现${\nabla }_{\theta }\log {\pi }_{\theta }(\tau )$ 并没法直接求取。那么该怎样计算呢？
通过前面我们知道对于序列 $\tau$，策略$\pi (\tau )=\pi (s_0,a_0,s_1,a_1,...,s_T,a_T)$,我们将$\pi (\tau )$通过最原始的方法展开得到

$$\pi (\tau )=p(s_0)\prod _{t=0}^T{\pi }_{\theta }(a_t|s_t)p(s_{t+1}|s_t,a_t)\text{\hspace{1em}(7)}$$
于是将公式（7）代入公式(6)得到

$$\begin{gathered} {\nabla }_{\theta }\log {\pi }_{\theta }(\tau )={\nabla }_{\theta }\log (p(s_0)\prod _{t=0}^T{\pi }_{\theta }(a_t|s_t)p(s_{t+1}|s_t,a_t)) \\ ={\nabla }_{\theta }(\log p(s_0)+\sum _{t=0}^T\log {\pi }_{\theta }(a_t|s_t)+\sum _{t=0}^T\log p(s_{t+1}|s_t,a_t)) \\ =\sum _{t=0}^T{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\text{\hspace{1em}(8)} \end{gathered}$$

这样公式已经和监督学习中的最大似然有相同点了，因此我们对其进行蒙特卡洛处理，最终将公式(6)(7)(8)组合，并对公式(6)中的期望用蒙特卡洛进行替换，得到最终策略梯度：
$$\begin{gathered} {\nabla }_{\theta }J(\theta )=E_{\tau \sim {\pi }_{\theta }(\tau )}[\sum _{t=0}^T{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)(\sum _t^{T}r(s_t,a_t))] \\ =\frac{1}{N}\sum _{t=0}^N[\sum _{t=0}^T{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)(\sum _{t=0}^{T}r(s_t|a_t))] \end{gathered}$$
终于我们得到了策略梯度的计算公式，接下来就是更新了梯度，和监督学习是一个方式
$$\hat{\theta }=\theta +\alpha {\nabla }_{\theta }J(\theta )$$
到这里，策略梯度的理论和公式部分计算讲完了，
其实说了这么多，最终只是服务于策略网络的逼近和参数更新，在后面的博客（DDPG等算法的的使用中都会用到）

参考文献：
1.强化学习原理及入门
2.强化学习核心算法讲解