强化学习 —— 广义优势估计GAE

用$${\delta }_t=r_t+\gamma V(s_{t+1})-V(s_t)$$表示时序差分误差，公式中的$V$表示一个已经学习的状态价值函数，根据多步时序差分的思想，有：$$\begin{array}{ll}{A}_t^{(1)}={\delta }_t& =-V\left(s_t\right)+r_t+\gamma V\left(s_{t+1}\right)\\ A_t^{(2)}={\delta }_t+\gamma {\delta }_{t+1}& =-V\left(s_t\right)+r_t+\gamma r_{t+1}+{\gamma }^{2}V\left(s_{t+2}\right)\\ A_t^{(3)}={\delta }_t+\gamma {\delta }_{t+1}+{\gamma }^2{\delta }_{t+2}& =-V\left(s_t\right)+r_t+\gamma r_{t+1}+{\gamma }^2{r}_{t+2}+{\gamma }^{3}V\left(s_{t+3}\right)\\ ⋮& ⋮\\ A_t^{(k)}={\sum }_{l=0}^{k-1}{\gamma }^l{\delta }_{t+l}& =-V\left(s_t\right)+r_t+\gamma r_{t+1}+\dots +{\gamma }^{k-1}{r}_{t+k-1}+{\gamma }^{k}V\left(s_{t+k}\right)\end{array}$$

简单解释一下上面的公式，根据$\delta$的定义，有：$${\delta }_t=r_t+\gamma V(s_{t+1})-V(s_t)$$ $${\delta }_{t+1}=r_{t+1}+\gamma V(s_{t+2})-V(s_{t+1})$$

根据这两个公式，可以得到：$$\begin{array}{rl}{A}_t^{(2)}={\delta }_t+\gamma {\delta }_{t+1}& =r_t+\gamma V(s_{t+1})-V(s_t)+\gamma (r_{t+1}+\gamma V(s_{t+2})-V(s_{t+1}))\\ & =r_t+\gamma V(s_{t+1})-V(s_t)+\gamma r_{t+1}+{\gamma }^{2}V(s_{t+2})-\gamma V(s_{t+1})\\ & =-V(s_t)+r_t+\gamma r_{t+1}+{\gamma }^{2}V(s_{t+2})\end{array}$$其余部分的$A_t^{(k)}$可以通过类似的方法推导得到。

GAE的原理是将这些不同步数的优势估计进行指数加权平均，这里先通过简单的例子介绍一下指数加权平均。

假定现在需要用指数加权平均计算100天的平均温度值：$22,24,25,27,33,24,...,25$。指数加权平均的计算公式为：$$v_t=\lambda v_{t-1}+(1-\lambda ){\theta }_t$$公式中的$v_t$表示到第$t$天的平均温度值，${\theta }_t$表示第$t$天的温度值，$\lambda$表示可调节的超参数值。

假定$\lambda =0.9$，通过指数加权平均得到的平均温度如下：$$\begin{array}{rl}{v}_{100}& =0.9\ast v_{99}+0.1\ast {\theta }_{100}\\ v_{99}& =0.9\ast v_{98}+0.1\ast {\theta }_{99}\\ v_{98}& =0.9\ast v_{97}+0.1\ast {\theta }_{98}\\ ⋮& \\ v_1& =0.9\ast v_0+0.1\ast {\theta }_1\\ v_0& =0.1\ast {\theta }_0\end{array}$$

将上面公式进行转换可以得到$$\begin{array}{rl}{v}_{100}& =0.1\ast {\theta }_{100}+0.1\ast 0.9\ast {\theta }_{99}+0.1\ast 0.9^2\ast {\theta }_{99}+...+0.1\ast 0.9^{100}\ast {\theta }_0\\ & =0.1\ast ({\theta }_{100}+0.9\ast {\theta }_{99}+0.9^2\ast {\theta }_{98}+...+0.9^{100}\ast {\theta }_0)\\ & =(1-\lambda )\ast ({\theta }_{100}+\lambda \ast {\theta }_{99}+{\lambda }^2\ast {\theta }_{98}+...+{\lambda }^{100}\ast {\theta }_0)\end{array}$$

将其类比到GAE中，可以得到：$$\begin{array}{rl}{A}_t^{GAE}& =(1-\lambda )\left(A_t^{(1)}+\lambda A_t^{(2)}+{\lambda }^2{A}_t^{(3)}+\cdots \right)\\ & =(1-\lambda )\left({\delta }_t+\lambda \left({\delta }_t+\gamma {\delta }_{t+1}\right)+{\lambda }^2\left({\delta }_t+\gamma {\delta }_{t+1}+{\gamma }^2{\delta }_{t+2}\right)+\cdots \right)\\ & =(1-\lambda )\left(\delta \left(1+\lambda +{\lambda }^2+\cdots \right)+\gamma {\delta }_{t+1}\left(\lambda +{\lambda }^2+{\lambda }^3+\cdots \right)+{\gamma }^2{\delta }_{t+2}\left({\lambda }^2+{\lambda }^3+{\lambda }^4+\cdots \right)+\cdots \right)\\ & =(1-\lambda )\left({\delta }_t\frac{1}{1-\lambda }+\gamma {\delta }_{t+1}\frac{\lambda }{1-\lambda }+{\gamma }^2{\delta }_{t+2}\frac{{\lambda }^2}{1-\lambda }+\cdots \right)\\ & =\sum _{l=0}^{\infty }(\gamma \lambda {)}^l{\delta }_{t+l}\end{array}$$

上面公式中的$\lambda \in [0,1]$是在GAE中引入的超参数。当$\lambda =0$，可以得到$$A_t^{GAE}=A_t^{(1)}={\delta }_t=r_t+\gamma V(s_{t+1})-V(s_t)$$即只看到一步差分得到的优势值，当$\lambda$趋向于1时，GAE会考虑更多步差分的平均值。

下面是一段GAE的实现代码，给定折扣系数$\gamma$、GAE超参数$\lambda$、回合中时间步${\delta }_t$序列，根据上述公式可以进行优势估计：

# 基于 pytorch
def compute_advantage(gamma, lmbda, td_delta):
    td_delta = td_delta.detach().numpy()
    advantage_list = []
    advantage = 0.0
    for delta in td_delta[::-1]:
        advantage = gamma * lmbda * advantage + delta
        advantage_list.append(advantage)
    advantage_list.reverse()
    return torch.tensor(advantage_list, dtype=torch.float)

# 基于tensorflow
def compute_advantage(gamma, lmbda, td_delta):
    td_delta = tf.stop_gradient(td_delta)
    advantage_list = []
    advantage = 0.0
    for delta in tf.reverse(td_delta, axis=[0]):
        advantage = gamma * lmbda * advantage + delta
        advantage_list.append(advantage)
    advantage_list.reverse()
    return tf.convert_to_tensor(advantage_list, dtype=tf.float32)

参考资料：动手学强化学习