强化学习（4）时间差分方法

基于时间差分的强化学习方法

在强化学习（3）中，我们讲到了使用蒙特卡罗法来求解强化学习问题的方法，虽然蒙特卡罗法很灵活，不需要环境的状态转化概率模型，但是它需要所有的采样序列都是经历完整的状态序列。如果我们没有完整的状态序列，那么就无法使用蒙特卡罗法求解了。本文我们就来讨论可以不使用完整状态序列求解强化学习问题的方法：时间差分(Temporal-Difference, TD)。

无模型时，我们可以采用蒙特卡罗的方法利用经验平均来估计当前状态的值函数。
蒙特卡罗方法利用经验平均估计状态的值函数，所谓的经验是指一次试验，而一次试验要等到终止状态出现才结束。在下式中的$G_t$是状态$S_t$处的折扣累积回报值。

$V\left(S_t\right)\leftarrow V\left(S_t\right)+\alpha \left(G_t-V\left(S_t\right)\right)$

而对于时间差分法来说，我们没有完整的状态序列，只有部分的状态序列，那么如何可以近似求出某个状态的收获呢？回顾马尔科夫决策过程(MDP)中的贝尔曼方程：

$v_{\pi }(s)={\mathbb{E}}_{\pi }\left(R_{t+1}+\gamma v_{\pi }\left(S_{t+1}\right)|S_t=s\right)$

这启发我们可以用$R_{t+1}+\gamma v\left(S_{t+1}\right)$来近似的代替收获$G_t$。
一般我们把$R_{t+1}+\gamma v\left(S_{t+1}\right)$称为TD目标，${\delta }_t=R_{t+1}+\gamma V\left(S_{t+1}\right)-V\left(S_t\right)$称为TD偏差。

时间差分方法包括同策略的$Sarsa$方法和异策略的$Qlearning$方法。
同策略即一直使用一个策略来更新价值函数和选择新的动作。异策略会使用两个控制策略，一个策略用于选择新的动作，另一个策略用于更新价值函数。

同策略$Sarsa$算法流程

输入：迭代轮数$T$，状态集$S$, 动作集$A$, 步长$\alpha$，衰减因子$\gamma$, 探索率$ϵ$,
输出：所有的状态和动作对应的价值$Q$

1. 随机初始化所有的状态和动作对应的价值$Q$。 对于终止状态其$Q$值初始化为0
2. for $i$ from 1 to $T$，进行迭代：
   　a) 初始化$S$为当前状态序列的第一个状态。设置$A$为$ϵ-$贪婪法在当前状态$S$选择的动作。
   　b) 在状态$S$执行当前动作$A$,得到新状态$S^{\prime }$和奖励$R$
   　c) 用$ϵ-$贪婪法在状态$S^{\prime }$选择新的动作$A^{\prime }$
   　d) 更新价值函数$Q(S,A)$:
   　$Q(S,A)=Q(S,A)+\alpha \left(R+\gamma Q\left(S^{\prime },A^{\prime }\right)-Q(S,A)\right)$
   　e) $S$=$S^{\prime }$,$A$=$A^{\prime }$
   　f) 如果$S^{\prime }$是终止状态，当前轮迭代完毕，否则转到步骤 b)

异策略$Qlearning$算法流程

输入：迭代轮数$T$，状态集$S$, 动作集$A$, 步长$\alpha$，衰减因子$\gamma$, 探索率$ϵ$,
输出：所有的状态和动作对应的价值$Q$

1. 随机初始化所有的状态和动作对应的价值$Q$。 对于终止状态其$Q$值初始化为0
2. for $i$ from 1 to $T$，进行迭代：
   　a) 初始化$S$为当前状态序列的第一个状态。
   　b) 用$ϵ-$贪婪法在当前状态$S$选择出动作$A$
   　c) 在状态$S$执行当前动作$A$,得到新状态$S^{\prime }$和奖励$R$
   　d) 更新价值函数$Q(S,A)$:
   　$Q(S,A)+\alpha \left(R+\gamma {\max }_{a}Q\left(S^{\prime },a\right)-Q(S,A)\right)$
   　e) $S$=$S^{\prime }$
   　f) 如果$S^{\prime }$是终止状态，当前轮迭代完毕，否则转到步骤 b)

$TD$方法除了常用的$Sarsa$方法和$Qlearning$方法，还包括$TD\left(\lambda \right)$方法，下面我们讨论$TD\left(\lambda \right)$方法。

在更新当前值函数时，用到了下一个状态的值函数。那么我们可以据此推理，能不能利用后继第二个状态的值函数来更新当前状态的值函数呢？
答案是肯定的，那么如何利用公式计算呢？
我们用$G_t^{\left(1\right)}=R_{t+1}+\gamma V\left(S_{t+1}\right)$表示$TD$目标，则利用第二步值函数来估计当前值函数可表示为：$G_t^{\left(2\right)}=R_{t+1}+\gamma R_{t+2}+{\gamma }^{2}V\left(S_{t+1}\right)$ 以此类推，利用第n步的值函数更新当前值函数可表示为：

$G_t^{\left(n\right)}=R_{t+1}+\gamma R_{t+2}+\cdots +{\gamma }^{n-1}{R}_{t+n}+{\gamma }^{n}V\left(S_{t+n}\right)$

我们再审视一下刚刚的结论：可以利用n步值函数来估计当前值函数，也就是说当前值函数有n种估计方法。哪种估计值更接近真实值呢？我们不知道，但是我们是不是可以对这n个估计值利用加权的方法进行融合一下呢？这就是$TD\left(\lambda \right)$的方法。

我们在$G_t^{\left(n\right)}前乘以加权因子\left(1-\lambda \right){\lambda }^{n-1}$，为什么要乘这个加权呢？这是因为：

$$\begin{gathered} G_t^{\lambda }=\left(1-\lambda \right)G_t^{\left(1\right)}+\left(1-\lambda \right)\lambda G_t^{\left(2\right)}+\cdots +\left(1-\lambda \right){\lambda }^{n-1}{G}_t^{\left(n\right)} \\ \approx \left[\left(1-\lambda \right)+\left(1-\lambda \right)\lambda +\cdots +\left(1-\lambda \right){\lambda }^{n-1}\right]V\left(S_t\right) \\ =V\left(S_t\right) \end{gathered}$$

利用$G_t^{\lambda }$来更新当前状态的值函数的方法称为$TD\left(\lambda \right)$的方法。对于$TD\left(\lambda \right)$ 的理解一般可以从两个视角进行解读。

第一个视角是前向视角，该视角也是$TD\left(\lambda \right)$的定义。

假设一个人坐在状态流上拿着望远镜看向前方，前方是那些将来的状态。当估计当前状态的值函数时，$TD\left(\lambda \right)$的定义中可以看到，它需要用来将来时刻的值函数。也就是说，$TD\left(\lambda \right)$前向观点通过观看将来状态的值函数来估计当前的值函数。

$V\left(S_t\right)\leftarrow V\left(S_t\right)+\alpha \left(G_t^{\left(\lambda \right)}-V\left(S_t\right)\right)$
其中$G_t^{\lambda }=\left(1-\lambda \right){\sum }_{n=1}^{\infty }{\lambda }^{n-1}{G}_t^{\left(n\right)}$，而
$G_t^{\left(n\right)}=R_{t+1}+\gamma R_{t+2}+\cdots +{\gamma }^{n-1}{R}_{t+n}+{\gamma }^{n}V\left(S_{t+n}\right)$

利用$TD\left(\lambda \right)$的前向观点估计值函数时，$G_t^{\lambda }$ 的计算用到了将来时刻的值函数，因此需要等到整个试验结束之后。这跟蒙塔卡罗方法相似。那么有没有一种更新方法不需要等到试验结束就可以更新当前状态的值函数呢？

有，这种增量式的更新方法需要利用$TD\left(\lambda \right)$的后向观点。

人骑坐在状态流上，手里拿着话筒，面朝已经经历过的状态流，获得当前回报并利用下一个状态的值函数得到$TD$偏差后，此人会向已经经历过的状态喊话，告诉这些已经经历过的状态处的值函数需要利用当前时刻的$TD$偏差进行更新。此时过往的每个状态值函数更新的大小应该跟距离当前状态的步数有关。假设当前状态为$s_t$，$TD$偏差为${\delta }_t$ ,那么$s_{t-1}$处的值函数更新应该乘以一个衰减因子$\gamma \lambda$ ，状态$s_{t-2}$ 处的值函数更新应该乘以${\left(\gamma \lambda \right)}^2$ ，以此类推。

我们给出$TD\left(\lambda \right)$更新过程为：
首先计算当前状态的TD偏差：${\delta }_t=R_{t+1}+\gamma V\left(S_{t+1}\right)-V\left(S_t\right)$
更新适合度轨迹：$E_t\left(s\right)=\{\begin{array}{l}\gamma \lambda E_{t-1},ifs̸=s_t\\ \gamma \lambda E_{t-1}+1,ifs=s_t\end{array}$
对于状态空间中的每个状态$s$, 更新值函数：$V\left(s\right)\leftarrow V\left(s\right)+\alpha {\delta }_t{E}_t\left(s\right)$

$Sarsa\left(\lambda \right)$算法流程

输入：迭代轮数$T$，状态集$S$, 动作集$A$, 步长$\alpha$,衰减因子$\gamma$, 探索率$ϵ$, 多步参数$\lambda$
输出：所有的状态和动作对应的价值$Q$

1. 随机初始化所有的状态和动作对应的价值$Q$. 对于终止状态其$Q$值初始化为0
2. for $i$ from 1 to $T$，进行迭代：　　　
   　　　
   　　a) 初始化所有状态动作的适合度轨迹$E$为0，初始化$S$为当前状态序列的第一个状态。设置$A$为$ϵ-$贪婪法在当前状态$S$选择的动作。
   　　b) 在状态$S$执行当前动作$A$,得到新状态$S^{\prime }$和奖励$R$
   　　c) 用$ϵ-$贪婪法在状态$S^{\prime }$选择新的动作$A^{\prime }$
   　　d) 更新适合度轨迹$E(S,A)$和$TD$误差$\delta$:
   　　　$E(S,A)=E(S,A)+1$
   　　　$\delta =R_{t+1}+\gamma Q\left(S_{t+1},A_{t+1}\right)-Q\left(S_t,A_t\right)$
   　　e) 对当前序列所有出现的状态$s$和对应动作$a$, 更新价值函数$Q(s,a)$和适合度轨迹$E(s,a)$:
   　　　$Q(s,a)=Q(s,a)+\alpha \delta E(s,a)$
   　　　$E(s,a)=\gamma \lambda E(s,a)$　
   　　f) $S$=$S^{\prime }$,$A$=$A^{\prime }$
   　　g) 如果$S^{\prime }$是终止状态，当前轮迭代完毕，否则转到步骤 b)

现在我们比较一下$TD\left(\lambda \right)$的前向观点和后向观点的异同：
（1） 前向观点需要等到一次试验之后再更新当前状态的值函数；而后向观点不需要等到值函数结束后再更新值函数，而是每一步都在更新值函数，是增量式方法。
（2）前向观点在一次试验结束后更新值函数时，更新完当前状态的值函数后，此状态的值函数就不再改变。而后向观点，在每一步计算完当前的TD误差后，其他状态的值函数需要利用当前状态的TD误差进行更新。
（3）在一次试验结束后，前向观点和后向观点每个状态的值函数的更新总量是相等的，都是$G_t^{\lambda }$。

为了说明前向观点和后向观点的等价性，我们从公式上对其进行严格地证明。

首先，当$\lambda =0$ 时，只有当前状态值更新，此时等价于之前说的$TD$方法。所以$TD$方法又称为$TD(0)$方法。
其次，当$\lambda =1$时，状态$s$值函数总的更新与蒙特卡罗方法相同：

$\begin{array}{l}{\delta }_t+\gamma {\delta }_{t+1}+{\gamma }^2{\delta }_{t+2}+\cdots +{\gamma }^{T-1-t}{\delta }_{T-1}\\ =R_{t+1}+\gamma V\left(S_{t+1}\right)-V\left(S_t\right)\\ +\gamma R_{t+2}+{\gamma }^{2}V\left(S_{t+2}\right)-\gamma V\left(S_{t+1}\right)\\ +{\gamma }^2{R}_{t+3}+{\gamma }^{3}V\left(S_{t+3}\right)-{\gamma }^{2}V\left(S_{t+2}\right)\\ ⋮\\ +{\gamma }^{T-1-t}{R}_T+{\gamma }^{T-t}V\left(S_T\right)-{\gamma }^{T-1-t}V\left(S_{T-1}\right)\end{array}$

对于一般的$\lambda$ ，前向观点等于后向观点：

$\begin{array}{l}{G}_t^{\lambda }-V\left(S_t\right)=\\ -V\left(S_t\right)+\left(1-\lambda \right){\lambda }^0\left(R_{t+1}+\gamma V\left(S_{t+1}\right)\right)\\ +\left(1-\lambda \right){\lambda }^1\left(R_{t+1}+\gamma R_{t+2}+{\gamma }^{2}V\left(S_{t+2}\right)\right)\\ +\left(1-\lambda \right){\lambda }^2\left(R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+{\gamma }^{3}V\left(S_{t+2}\right)\right)+\cdots \end{array}$

$\begin{array}{l}=-V\left(S_t\right)+{\left(\gamma \lambda \right)}^0\left(R_{t+1}+\gamma V\left(S_{t+1}\right)-\gamma \lambda V\left(S_{t+1}\right)\right)\\ +{\left(\gamma \lambda \right)}^1\left(R_{t+2}+\gamma V\left(S_{t+2}\right)-\gamma \lambda V\left(S_{t+2}\right)\right)\\ +{\left(\gamma \lambda \right)}^2\left(R_{t+3}+\gamma V\left(S_{t+3}\right)-\gamma \lambda V\left(S_{t+3}\right)\right)+\cdots \end{array}$

$\begin{array}{l}={\left(\gamma \lambda \right)}^0\left(R_{t+1}+\gamma V\left(S_{t+1}\right)-V\left(S_t\right)\right)\\ +{\left(\gamma \lambda \right)}^1\left(R_{t+2}+\gamma V\left(S_{t+2}\right)-V\left(S_{t+1}\right)\right)\\ +{\left(\gamma \lambda \right)}^2\left(R_{t+3}+\gamma V\left(S_{t+3}\right)-V\left(S_{t+2}\right)\right)+\cdots \end{array}$

$={\delta }_t+\gamma \lambda {\delta }_{t+1}+{\left(\gamma \lambda \right)}^2{\delta }_{t+2}+\cdots$

参考文献：
[1]https://zhuanlan.zhihu.com/p/25913410
[2]https://www.cnblogs.com/pinard/p/9614290.html
[3]https://www.cnblogs.com/pinard/p/9669263.html
[4]https://www.cnblogs.com/pinard/p/9529828.html