7 Multi-step Bootstrapping

【上一节6 Temporal-Difference （TD） Learning 】
【下一节8 Planning and Learning with Tabular Methods 】

1、n-step TD Prediction

TD 和 蒙特卡洛方法在原理上是有一定区别的，例如利用在给定规则 $\pi$ 下产生的样本 episodes 来估计 $v_{\pi }$，蒙特卡洛方法会基于整个 episode 结束之后的 reward 来对每个状态进行更新。而 one-step TD 方法的 backup 是基于下一个reward的。有一些介于这两种方法之间的算法，会基于中间一定数量的rewards来 backup，例如，two-step backup 会基于一个状态之后两步的rewards和两步之后的估计value。对 $v_{\pi }$ 的n-step backups的图形化表示如下所示：

图1

使用 n-steps backups 的方法仍然是 TD 方法，因为它们都是基于之前的估计与之后的估计的偏差来更新值，只不过这里用的是n步之后的值，因此可以将它们称为是 n-step TD 方法。

我们知道，在蒙特卡洛方法中，对 $v_{\pi }(S_t)$ 的更新是利用完整的return，即更新方程为：
$$G_t\doteq R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\cdots +{\gamma }^{T-t-1}{R}_T$$

其中T是episode的最后一个time step，从中可以看出，蒙特卡洛方法中的 target 是 return，而在one-step方法中其 target 是第一个reward加上之后状态的估计值乘上一个衰减系数，称之为 one-step return：
$$G_t^{(1)}\doteq R_{t+1}+\gamma V_t(S_{t+1})$$
其中，KaTeX parse error: Expected '}', got '\cal' at position 6: V_t:{\̲c̲a̲l̲ ̲S}\rightarrow {… 是在时间点 t 对$v_{\pi }$的估计值，即是对 $\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\cdots +{\gamma }^{T-t-1}{R}_T$ 的代替，因此对 two-step return 即为：
$$G_t^{(2)}\doteq R_{t+1}+\gamma R_{t+2}+{\gamma }^2{V}_{t+1}(S_{t+2})$$

这个式子中，${\gamma }^2{V}_{t+1}(S_{t+2})$ 即是对 ${\gamma }^2{R}_{t+3}+\cdots +{\gamma }^{T-t-1}{R}_T$ 的代替，类似的我们就可以推导出任意 n-step backup的return为：
$$G_t^{(n)}\doteq R_{t+1}+\gamma R_{t+2}+\cdots +{\gamma }^{n-1}{R}_{t+n}+{\gamma }^n{V}_{t+n-1}(S_{t+n}),n\ge 1,0\le t<T-n$$

注意到，对 $n>1$，n-step 的 returns 包含了未来的rewards和value function，在从时刻 t 到时刻 t+1 转换的时候是未知的，只有在时刻 t+n 之后才可用，因此，对 n-step 算法来说其算法应该是：
$$V_{t+n}(S_t)\doteq V_{t+n-1}(S_t)+\alpha [G_t^{(n)}–V_{t+n-1}(S_t)],0\le <T$$

在这个更新过程中，除了状态 $S_t$，其他所有状态都未改变，这种更新方法就称作是 n-step TD。注意到，在每个episode的前 n-1 个step中不会有任何改变，为此，在每个 episode 结束之后会附加更新相同次数，整个过程的伪代码如下：

图2

第 n-step return 使用 value 函数 $V_{t+n-1}$ 来对缺失的 rewards $R_{t+n}$ 进行更正，对n-step returns来说，最重要的特性在于它们的期望保证了对 $v_{\pi }$ 的估计在最坏的情况下也要比 $V_{t+n-1}$ 好，也就是说，期望的 n-step 的return的最差的error值保证了比$V_{t+n-1}$ 的 ${\gamma }^n$ 次方小：
$$ma{x}_s\mid E_{\pi }[G_t^n\mid S_t=s]–v_{\pi }(s)\mid \le {\gamma }^{n}ma{x}_s\mid V_{t+n-1}(s)-v_{\pi }(s)\mid ,\forall n\ge 1$$

上面这个式子称为是 n-step returns 的 $errorreductionproperty$。根据这个性质可以知道，对所有的 n-step TD 方法在恰当的条件下都可以收敛到正确的预测值。

2、n-step Sarsa

这一小部分主要介绍的是 n-step 方法是如何直接与 Sarsa 相结合从而产生 on-policy TD 控制方法的，Sarsa的 n-step 版本就称为是 n-step Sarsa($\lambda$)，前面章节中介绍的最原始的版本就称为是 one-step Sarsa 或 Sarsa(0)。

简单来说，其主要思想就是改变了state-action pairs并使用了$ϵ-$greedy policy。n-step Sarsa 的 backup diagrams 如图3所示，它与 n-step TD 方法很相似，都是连接线两端不断的变化states和actions，不同点在于Sarsa均是起始和终止与action而非state。

图三

依据估计的action values，这里定义n-step returns为：
$$G_t^{(n)}\doteq R_{t+1}+\gamma R_{t+2}+\cdots +gamm{a}^{n-1}{R}_{t+n}+gamm{a}^n{Q}_{t+n-1}(S_{t+n},A_{t+n}),n\ge 1,0\le t<T-n$$

其中，当$t+n\ge T$时，$G_t^n\doteq G_t$，因此算法为：
$$Q_{t+n}(S_t,A_t)\doteq Q_{t+n-1}(S_t,A_t)+\alpha [G_t^{(n)}–Q_{t+n-1}(S_t,A_t)],0\le t<T$$

而其他的states的values值保持不变，$Q_{t+n}(s,a)=Q_{t+n-1}(s,a),\forall s,a,s̸=S_{t}ora̸=A_t$。这个算法就称为是 n-step Sarsa。伪代码如图4所示。

图4

下面介绍一下 Expected Sarsa，它的 n-step 版本在图3的最右边所示，它与n-step Sarsa很相似，不同点在于，最后一个元素是在概率$\pi$下对所有action的概率加权，其算法与n-step Sarsa的定义方程相同：
$$G_t^{(n)}\doteq R_{t+1}+\gamma R_{t+2}+\cdots +gamm{a}^{n-1}{R}_{t+n}+gamm{a}^n\sum _a\pi (a|S_{t+n})Q_{t+n-1}(S_{t+n},a),n\ge 1,0\le t\le T-n$$

3、n-step Off-policy Learning by Importance Sampling

Off-policy learning是在依据规则 $\mu$ 下，对 policy $\pi$ 的的value函数的学习。通常情况下，$\pi$ 是对当前 action-value-function 估计的贪婪policy，而 $\mu$ 是具有更多探索性的policy（也许是 $ϵ$-greedy）。为了利用 $\mu$ 下生成的数据，就必须比较两种policies之间的不同，通常采用的方法是利用他们执行 actions 的相对概率来对比。在n-step方法中，返回值是在n个步骤之上构建的，因此我们关心的仅仅是这n个步骤的相对概率。例如，以n-step TD的 off-policy 版本为例，在时间 t 的更新（实际是在时间 t+n 发生的）可通过加权 ${\rho }_t^{t+n}$ 而简化为：
$$V_{t+n}(S_t)\doteq V_{t+n-1}(S_t)+\alpha {\rho }_t^{t+n}[G_t^{(n)}–V_{t+n-1}(S_t)],0\le t<T$$

其中 ${\rho }_t^{t+n}$ 称为是$importancesamplingratio$，它的实际意义是在两种 policies 下，从 $A_t$ 执行n个actions 到 $A_{t+n-1}$ 的相对概率：
$${\rho }_t^{t+n}\doteq \prod _{k=t}^{min(t+n-1,T-1)}\frac{\pi (A_k|S_k)}{\mu (A_k|S_k)}$$

比如说，如果一个action在规则 $\pi$ 下执行的概率为0，那么n-step return应该为0；如果一个action在规则 $\pi$ 下执行的概率高于在规则 $\mu$ 下执行的概率，那么就应该增加其权重。如果两个policies是相同的，那么 importance sampling ratio 就应该永远为1。N-step Sarsa 的更新公式可以写成更通用的 off-policy 形式：
$$Q_{t+n}(S_t,A_t)\doteq Q_{t+n-1}(S_t,A_t)+\alpha {\rho }_{t+1}^{t+n}[G_t^{(n)}–Q_{t+n-1}(S_t,A_t)],0\le t<T$$

从这个公式中我们注意到，该 importance sampling ratio 比 n-step TD 要晚一个step，这是因为Sarsa中更新的是 state-action pair，我们不需要关心我们选择这个action的概率是多大，既然我们已经选择了这个action，那么就应该利用importance sampling从后面一系列的actions中学习。算法的伪代码如图5所示。

图5

4、Off-policy Learning Without Importance Sampling: The n-step Tree Backup Algorithm

Off-policy learning 中可以没有importance sampling吗？答案是可以的，这一节将要介绍的就是这样一种 n-step 方法，称为是 $tree-backup$ algorithm，它的主要思想可以用图6 这样的 3-step tree-backup 图来展示，这种backup是对样本转换的交替混合，在每种状态下都会考虑在 $\pi$ 下所有可能的actions和actions values，并且实际执行的action会做特殊处理。因为到这个状态有下一个状态的样本，所以并不需要利用该action的value值做bootstrap，直接继续下一个状态和其对应的action values即可。这个过程持续进行直到完成n-step tree backup，每个连接state和action的箭头的权值是由该action在规则 $\pi$ 下的概率决定的，真正执行的 action 的权重也是由执行它的概率来决定的，但该权重并不应用于它的 action value，而是它下面的整个tree。也就是说，在它的第二层分支中，未被选中的actions的values是通过该action执行的概率值乘上未被选中的actions在 $\pi$ 下被执行的概率得到的，而在第三层分支（图中最后一层）中，action values 是利用三个概率值加权得到的。

图6

首先，定义在目标policy下期望的action vlue：
$$V_t\doteq \sum _a\pi (a|S_t)Q_{T-1}(S_t,A_t)$$
接着，定义TD error：
$${\delta }_t\doteq R_{t+1}+\gamma V_{t+1}–Q_{t-1}(S_t,A_t)$$
接下来就可以定义tree-backup算法的n-step returns：
$$\begin{array}{rl}{G}_t^{(1)}& \doteq R_{t+1}+\gamma V_{t+1}\\ & =Q_{t-1}(S_t,A_t)+{\delta }_t\end{array}$$

$$\begin{array}{rl}{G}_t^{(2)}& \doteq R_{t+1}+\gamma V_{t+1}+\gamma \pi (A_{t+1}|S_{t+1})Q_t(S_{t+1},A_{t+1})+\gamma \pi (A_{t+1}|S_{t+1})[R_{t+2}+\gamma V_{t+2}]\\ & =R_{t+1}+\gamma V_{t+1}+\gamma \pi (A_{t+1}|S_{t+1})[R_{t+2}+\gamma V_{t+2}–Q_t(S_{t+1},A_{t+1})]\\ & =R_{t+1}+\gamma V_{t+1}+\gamma \pi (A_{t+1}|S_{t+1}){\delta }_{t+1}\\ & =Q_{t-1}(S_t,A_t)+{\delta }_t+\gamma \pi (A_{t+1}|S_{t+1}){\delta }_{t+1}\end{array}$$

$$G_t^{(3)}\doteq Q_{t-1}(S_t,A_t)+{\delta }_t+\gamma \pi (A_{t+1}|S_{t+1}){\delta }_{t+1}+{\gamma }^2\pi (A_{t+1}|S_{t+1})\pi (A_{t+2}|S_{t+2}){\delta }_{t+2}$$

$$G_t^{(n)}\doteq Q_{t-1}(S_t,A_t)+\sum _{k=t}^{min(t+n-1,T-1)}{\delta }_k\prod _{i=t+1}^k\gamma \pi (A_i|S_i)$$

式子推导中使用了零因子的乘积是1。接下来就是常用的action-value更新公式：
$$Q_{t+n}(S_t,A_t)\doteq Q_{t+n-1}(S_t,A_t)+\gamma [G_t^{(n)}–Q_{t+n-1}(S_t,A_t)],0\le t<T$$

过程中其他状态的values保持不变，$Q_{t+n}(s,a)=Q_{t+n-1},\forall s,a,s̸=S_{t}ora̸=A_t$。
算法的伪代码如图7所示。

图7

参考文献
[1] Reinforcement Learning: An Introduction, Richard S. Sutton and Andrew G. Barto
[2] UCL Course on RL