深度增强学习David Silver（七）——Policy Gradient

本文主要内容：

• Finite Difference Policy Gradient
• Monte-Carlo Policy Gradient

上节课我们使用参数估计了价值函数和行动-价值函数，而当讲到策略时，我们只提到$ϵ$-greedy。在这节课，我们将会直接参数化策略${\pi }_{\theta }(s,a)=\mathsf{P}(\mathsf{a}|\mathsf{s},\theta )$。

增强学习可分为Value-Based、Policy-Based以及二者结合的Actor-Critic。Value-Based的增强学习的策略（比如$ϵ$-greedy）是不变的，即在某个状态，选择哪种行动是固定的。Policy-Based的增强学习会学习不同的策略，即在某个状态下多少的概率怎么做，这个概率可能会不断地调整。policy-based和value-based如下图所示：

Policy-Based的增强学习优点有：

• 能收敛到能达到的最优解
• 在高维空间或连续的行为空间中高效
• 能学习随机策略

缺点：

• 通常收敛到局部最优而非全局最优
• 评估一个策略通常低效（这个过程可能慢，但是具有更高的可变性，其中也会出现很多并不有效的尝试），而且方差高

那么给定一个具有参数$\theta$的策略${\pi }_{\theta }(s,a)$，判断这个策略的优劣？通常有三种方法：

• 使用初始价值来判断：$J_1(\theta )=V^{{\pi }_{\theta }}(s_1)={\mathsf{E}}_{{\pi }_{\theta }}[{\mathsf{v}}_1]$
• 使用平均价值：$J_{avV}(\theta )={\sum }_s{d}^{{\pi }_{\theta }}(s)V^{{\pi }_{\theta }}(s)$
• 使用每次time-step的平均奖励：$J_{avR}(\theta )={\sum }_s{d}^{{\pi }_{\theta }}(s){\sum }_a{\pi }_{\theta }(s,a)R_s^a$，其中$d_{{\pi }_{\theta }}(s)$是策略${\pi }_{\theta }$的马尔科夫链的平稳分布（也就是当应用策略${\pi }_{\theta }$，达到收敛的分布）。

通常使用梯度下降法通过最大化$J(\theta )$来确定$\theta$的取值。定义策略梯度为：
$${\nabla }_{\theta }J(\theta )=\left(\begin{array}{c}\frac{\partial J(\theta )}{\partial {\theta }_1}\\ ⋮\\ \frac{\partial J(\theta )}{\partial {\theta }_n}\end{array}\right)$$

假设策略${\pi }_{\theta }$为零的时候可微，并且已知梯度${\nabla }_{\theta }{\pi }_{\theta }(s,a)$，定义${\nabla }_{\theta }log{\pi }_{\theta }(s,a)$为得分函数（score function）。二者关系如下：
因为$${\nabla }_{\theta }log{\pi }_{\theta }(s,a)=\frac{{\nabla }_{\theta }{\pi }_{\theta }(s,a)}{{\pi }_{\theta }(s,a)}$$
所以
$${\nabla }_{\theta }{\pi }_{\theta }(s,a)={\pi }_{\theta }(s,a)\frac{{\nabla }_{\theta }{\pi }_{\theta }(s,a)}{{\pi }_{\theta }(s,a)}={\pi }_{\theta }(s,a){\nabla }_{\theta }log{\pi }_{\theta }(s,a)$$

接下来我们考虑一个只走一步的MDP，对它使用策略梯度下降。${\pi }_{\theta }(s,a)$表示关于参数$\theta$的函数，映射是$p(a|s,\theta )$。它在状态s向前走一步，获得奖励$r=R_{s,a}$。那么选择行动a的奖励为${\pi }_{\theta }(s,a)R_{s,a}$，在状态s的加权奖励为${\sum }_{a\in A}{\pi }_{\theta }(s,a)R_{s,a}$，应用策略所能获得的奖励期望及梯度为：
$$\begin{gathered} J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}[r]=\sum _{s\in S}d(s)\sum _{a\in A}{\pi }_{\theta }(s,a)R_{s,a} \\ {\nabla }_{\theta }J(\theta )=\sum _{s\in S}d(s)\sum _{a\in A}{\pi }_{\theta }(s,a){\nabla }_{\theta }log{\pi }_{\theta }(s,a)R_{s,a}={\mathbb{E}}_{{\pi }_{\theta }}[{\nabla }_{\theta }log{\pi }_{\theta }(s,a)r] \end{gathered}$$

再考虑走了多步的MDP，使用$Q^{\pi }(s,a)$代替奖励值r，对于任意可微的策略，策略梯度为：
$${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}[{\nabla }_{\theta }log{\pi }_{\theta }(s,a)Q^{{\pi }_{\theta }}(s,a)]$$

Monte-Carlo策略梯度通过采样episode来更新参数：
使用随机梯度上升法更新参数；使用策略梯度法；使用return $v_t$作为$Q^{{\pi }_{\theta }}(s_t,a_t)$的无偏估计。则$\Delta {\theta }_t=\alpha {\nabla }_{\theta }log{\pi }_{\theta }(s_t,a_t)v_t$，具体如下：

Monte-Carlo策略梯度的方差较高，因此放弃用return来估计行动-价值函数Q，而是使用critic来估计Q。$Q^{{\pi }_{\theta }}(s,a)\approx Q_w(s,a)$。这是一个名为actor-critic的算法，具有两套参数。（1）critic的参数为w。（2）actor的参数为$\theta$，根据critic建议的方向更新。

critic其实就是在评估策略。假设Q约为特征的线性组合：$Q_w(s,a)=\varphi (s,a{)}^{T}w$。critic根据线性TD(0)来更新w，actor通过策略梯度来更新$\theta$。

在actor-critic算法中，对策略进行了估计，这会产生误差，但是当满足以下两个条件时，策略梯度是准确的

1. 价值函数的估计值没有和策略相违背。${\nabla }_w{Q}_w(s,a)={\nabla }_{\theta }log{\pi }_{\theta }(s,a)$
2. 价值函数的参数w能够最小化误差：$ϵ={\mathbb{E}}_{{\pi }_{\theta }}[(Q^{{\pi }_{\theta }}(s,a)-Q_w(s,a){)}^2]$

另外，通过将策略梯度减去一个基线函数B(s)，可以在不改变期望的情况下，降低方差。证明不改变期望，就是证明相加和为0。
$$\begin{gathered} {\mathbb{E}}_{{\pi }_{\theta }}[{\nabla }_{\theta }log{\pi }_{\theta }(s,a)B(s)]=\sum _{s\in S}{d}^{{\pi }_{\theta }}(s)\sum _a{\nabla }_{\theta }{\pi }_{\theta }(s,a)B(s) \\ =\sum _{s\in S}{d}^{{\pi }_{\theta }}(s)B(s){\nabla }_{\theta }\sum _{a\in A}{\pi }_{\theta }(s,a)=0 \end{gathered}$$

状态价值函数$V^{{\pi }_{\theta }}(s)$是一个好的基线。因此可以通过使用优势函数**（advantage function）**$A^{{\pi }_{\theta }}(s,a)$重写价值梯度函数。
$$\begin{gathered} A^{{\pi }_{\theta }}(s,a)=Q^{{\pi }_{\theta }}(s,a)-V^{{\pi }_{\theta }}(s) \\ {\nabla }_{\theta }J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}[{\nabla }_{\theta }log{\pi }_{\theta }(s,a)A^{{\pi }_{\theta }}(s,a)] \end{gathered}$$

设$V^{{\pi }_{\theta }}(s)$是真实的价值函数，TD算法利用bellman方程来逼近真实值，误差为${\delta }^{{\pi }_{\theta }}=r+\gamma V^{{\pi }_{\theta }}(s^{\prime })-V^{{\pi }_{\theta }}(s)$。该误差是优势函数的无偏估计。因此我们可以使用该误差计算策略梯度：
$${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}[{\nabla }_{\theta }log{\pi }_{\theta }(s,a){\delta }^{{\pi }_{\theta }}]$$
该方法只需要critic，不需要actor。

最后总结一下策略梯度算法：