[归纳]强化学习导论 - 第十章：基于拟合器的on-policy控制

1.本章内容概要

这一章，我们回到control问题，并结合参数化的动作值的拟合函数$\hat{q}(s,a,\mathbf{w})\approx q_{\ast }(s,a),$ where $\mathbf{w}\in {\mathbb{R}}^d$开展。我们主要着眼于on-policy方法，off-policy方法在下一章讨论。这一章将着重关注半梯度Sarsa算法，是从我们上一章介绍的半梯度TD(0)拓展而来的。对于episodic任务，半梯度Sarsa是很自然的，但是对于continuing任务，则需要重新回到折扣化的最优策略定义重新分析，实际上，对于函数拟合而言，我们需要去掉折扣因子，并定义平均回报的形式。

我们首先从episodic任务入手，首先把上一章的状态值形式延伸的动作值形式；然后讨论基于GPI和$\epsilon$ -greedy的控制方法。然后将n-step线性Sarsa在Mountain Car问题上进行了测试；最后，扩展到continuing任务。

2.episodic半梯度控制

可以很直接地将上一章介绍的半梯度预测方法从状态值函数扩展到动作值函数，我们用以$\mathbf{w}$为参数的函数拟合动作值函数$\hat{q}\approx q_{\pi }$，并以$S_t,A_t\mapsto U_t$作为训练样本，其中的更新目标$U_t$可以用我们前面一些章节介绍的任何方法计算，例如MC方法、n-step Sarsa等。

此时SGD更新公式为：
${\mathbf{w}}_{t+1}\doteq {\mathbf{w}}_t+\alpha \left[U_t-\hat{q}\left(S_t,A_t,{\mathbf{w}}_t\right)\right]\nabla \hat{q}\left(S_t,A_t,{\mathbf{w}}_t\right)$

特殊地，对于one-step Sarsa，则更新公式为(周期性半梯度one-step Sarsa)：
${\mathbf{w}}_{t+1}\doteq {\mathbf{w}}_t+\alpha \left[R_{t+1}+\gamma \hat{q}\left(S_{t+1},A_{t+1},{\mathbf{w}}_t\right)-\hat{q}\left(S_t,A_t,{\mathbf{w}}_t\right)\right]\nabla \hat{q}\left(S_t,A_t,{\mathbf{w}}_t\right)$
对于固定的策略，这个算法的收敛界限与上一章介绍的TD(0)一样。

我们现在研究如何把值估计和策略提升结合来构造control算法，但是需要注意，如果希望处理连续的动作或者很大的离散动作空间，这是目前一个还在研究的问题，没有明确的解决方案。如果动作集合是离散的，且不是很大，我们直接用以前介绍过的一些技巧即可。也就是在状态$S_t$下，计算所有可能的$\hat{q}\left(S_t,a,{\mathbf{w}}_t\right)$，然后选择贪婪(实际上采用soft greedy的)的动作$A_t^{\ast }=\arg {\max }_a\hat{q}\left(S_t,a,{\mathbf{w}}_t\right)$，这样就通过值迭代的思路将策略提升融入到了值估计中，注意这里我们估计的策略与行动的策略是一致的(on-policy)：

example 10.1 Mountain Car Task
一个小车要爬上一个高坡，由于动力不足，无法直接加速爬上去，必须先向对面一个较矮的坡攀爬积累能量，然后等小车达到对面最高点后，再借助重力势能向高坡加速。这个问题用经典的控制方法很难解决，因为必须要先让车先远离目标积累能量，然后再向目标前进，属于欠动力问题。

只要不到达目标，每个step的回报都是-1，到达目标后episode结束。动作则有三种可选：正向油门，反向油门，无油门，记为$\{-1,1,0\}$。小车的运动学和动力学方程为：
$x_{t+1}\doteq bound\left[x_t+{\dot{x}}_{t+1}\right]$
${\dot{x}}_{t+1}\doteq bound\left[{\dot{x}}_t+0.001A_t-0.0025\cos \left(3x_t\right)\right]$
bound函数保证$-1.2\le x_{t+1}\le 0.5$ and $-0.07\le {\dot{x}}_{t+1}\le 0.07$。此外，当$x_{t+1}$到达左边界，${\dot{x}}_{t+1}$设置为0；到达右边界则episode结束。每个episode从随机位置开始：$x_t\in [-0.6,-0.4)$，且初始速度是0。
采用$8\times 8$均匀分割的的8个tilings做特征表示，并用上一章介绍的随机偏移方法。然后针对特征向量$\mathbf{x}(s,a)$构建线性拟合函数：
$\hat{q}(s,a,\mathbf{w})\doteq {\mathbf{w}}^{\top }\mathbf{x}(s,a)={\sum }_{i=1}^d{w}_i\cdot x_i(s,a)$
上图中的几个曲面绘制的是cost-to-go函数，也就是代价函数，取值函数的相反数。学习初始时，所有动作值都是0，因此都是乐观的，有利于探索，因此从图中可以看到，算法从状态空间的中心附近向外扩展地逐步探索，而不是陷在中心不动。下图给出每个episode中steps数目的收敛曲线。

3.半梯度n-step Sarsa

使用n-step return，结合上一小节的内容，可以得到episodic半梯度Sarsa的n-step版本。n-step return的形式为：

$G_{t:t+n}\doteq R_{t+1}+\gamma R_{t+2}+\cdots +{\gamma }^{n-1}{R}_{t+n}+{\gamma }^n\hat{q}\left(S_{t+n},A_{t+n},{\mathbf{w}}_{t+n-1}\right),t+n<T$

当$t+n\ge T$，取$G_{t:t+n}\doteq G_t$。n-step更新公式为：

${\mathbf{w}}_{t+n}\doteq {\mathbf{w}}_{t+n-1}+\alpha \left[G_{t:t+n}-\hat{q}\left(S_t,A_t,{\mathbf{w}}_{t+n-1}\right)\right]\nabla \hat{q}\left(S_t,A_t,{\mathbf{w}}_{t+n-1}\right),0\le t<T$

结合两个公式，可以得到算法的伪代码：

当选择适当的n时，n-step方法效果是最好的。对于上一节介绍的Mountain Car问题，选取n=8时，可以看到算法收敛速度加快了，且收敛到了更好的结果。

4.平均回报：针对连续任务一种新的回报形式

对于continuing任务，我们需要定义一种新的MDPs的值函数 — 平均回报。平均回报是没有折扣因子的，因此所有的后续回报对当前状态的值都有等价值的影响。实际上，平均回报是古典的动态规划理论最常用的值函数定义，而在RL中使用还是比较少的。在下个小节，我们将讨论为什么折扣的累积回报在带拟合器的方法中是不合适的，而平均回报则表现不错。

平均回报的定义如下：
$\begin{array}{rl}r(\pi )& \doteq \underset{h\to \infty }{\lim }\frac{1}{h}\sum _{t=1}^h\mathbb{E}\left[R_t|S_0,A_{0:t-1}\sim \pi \right]\\ & =\underset{t\to \infty }{\lim }\mathbb{E}\left[R_t|S_0,A_{0:t-1}\sim \pi \right]\\ & =\sum _s{\mu }_{\pi }(s)\sum _a\pi (a|s)\sum _{s^{\prime },r}p\left(s^{\prime },r|s,a\right)r\end{array}$

其中，${\mu }_{\pi }(s)\doteq {\lim }_{t\to \infty }\mathrm{Pr}\left\{S_t=s|A_{0:t-1}\sim \pi \right\}$，是continuing任务的稳态分布，该分布与策略$\pi$有关，与初始状态$S_0$无关(需要保证MDP具有遍历性)。第二个等号之所以成立，也是因为MDP最终能收敛到稳态分布。还应该注意，这个定义与当前状态$S_t$无关。那么，如何定义最优策略呢？我们可以认为所有策略中，使得$r(\pi )$最大的就是最优策略。此外，我们还应该注意到稳态状态分布的性质：

${\sum }_s{\mu }_{\pi }(s){\sum }_a\pi (a|s)p\left(s^{\prime }|s,a\right)={\mu }_{\pi }\left(s^{\prime }\right)$

对于平均回报，return的定义应该为：

$G_t\doteq R_{t+1}-r(\pi )+R_{t+2}-r(\pi )+R_{t+3}-r(\pi )+\cdots$

这叫做微分return，而与之对应的值函数就是微分值函数：$v_{\pi }(s)\doteq {\mathbb{E}}_{\pi }\left[G_t|S_t=s\right]$和$q_{\pi }(s,a)\doteq {\mathbb{E}}_{\pi }\left[G_t|S_t=s,A_t=a\right]$，对于$v^{\ast }$和$q^{\ast }$也是类似的。微分值函数也有Bellman方程(首先分析$G_t$的迭代形式，容易得出)：

$v_{\pi }(s)={\sum }_a\pi (a|s){\sum }_{r,s^{\prime }}p\left(s^{\prime },r|s,a\right)\left[r-r(\pi )+v_{\pi }\left(s^{\prime }\right)\right]$
$q_{\pi }(s,a)={\sum }_{r,s^{\prime }}p\left(s^{\prime },r|s,a\right)\left[r-r(\pi )+{\sum }_{a^{\prime }}\pi \left(a^{\prime }|s^{\prime }\right)q_{\pi }\left(s^{\prime },a^{\prime }\right)\right]$
$v_{\ast }(s)={\max }_a{\sum }_{r,s^{\prime }}p\left(s^{\prime },r|s,a\right)\left[r-{\max }_{\pi }r(\pi )+v_{\ast }\left(s^{\prime }\right)\right],$ 和
$q_{\ast }(s,a)={\sum }_{r,s^{\prime }}p\left(s^{\prime },r|s,a\right)\left[r-{\max }_{\pi }r(\pi )+{\max }_{a^{\prime }}{q}_{\ast }\left(s^{\prime },a^{\prime }\right)\right]$

我们可以比较容易地写出TD形式的更新公式，然后基于此，可以写出微分TD误差：
${\delta }_t\doteq R_{t+1}-{\overline{R}}_{t+1}+\hat{v}\left(S_{t+1},{\mathbf{w}}_t\right)-\hat{v}\left(S_t,{\mathbf{w}}_t\right)$
${\delta }_t\doteq R_{t+1}-{\overline{R}}_{t+1}+\hat{q}\left(S_{t+1},A_{t+1},{\mathbf{w}}_t\right)-\hat{q}\left(S_t,A_t,{\mathbf{w}}_t\right)$

${\overline{R}}_t$是在时刻t估计的$r(\pi )$。基于这些式子，我们前面介绍的各种方法都能改成平均回报的形式。例如半梯度Sarsa(参考上一章$\overline{\mathrm{V}\mathrm{E}}$的定义和梯度更新公式的推导)：
${\mathbf{w}}_{t+1}\doteq {\mathbf{w}}_t+\alpha {\delta }_t\nabla \hat{q}\left(S_t,A_t,{\mathbf{w}}_t\right)$

注意以下伪代码中${\overline{R}}_t$的求法。

example 10.2 An Access-Control Queuing Task
服务器调度问题。共10台服务器，请求有四种优先级，到达后就存储在一个队列中，如果访问了一个服务器，则用户付出1， 2， 4， 8的回报给该服务器，回报的数字由优先级决定，高优先级付出的回报就多。在每个时间步，队列头的那个请求要么被接受(直接从队列移除，按照优先级回报)，要么被拒绝(直接从队列移除，回报0)；下个时间步则考虑队列中下一个请求。队列永远不为空，且请求的优先级是均匀分布的，如果每个服务器都被占用了，那么就不可能接受该请求。每个工作的服务器在每个时间步以概率$p=0.06$结束任务。每个时间步，我们根据需要被处理任务的优先级，以及空闲服务器的数量决策。目标是最大化累积回报，注意没有折扣。
设置参数$\alpha =0.01,\beta =0.01,$ and $\epsilon =0.1$，使用微分半梯度Sarsa算法，可以得到如下结果：

如果$G_t$当t趋近无穷时不收敛，可以修改值函数的定义为：

$v_{\pi }(s)\doteq {\lim }_{\gamma \to 1}{\lim }_{h\to \infty }{\sum }_{t=0}^h{\gamma }^t\left({\mathbb{E}}_{\pi }\left[R_{t+1}|S_0=s\right]-r(\pi )\right)$

[这一节的练习题有一点难度，留着有机会分析下]

5.连续任务中不要再用折扣回报了

对于表格化的问题，以前介绍的折扣的方法是很好的，但是当我们决定使用拟合器的时候，这种办法则会出现一些问题。我们考虑一个没有始终的无穷序列，也没有明确定义的状态，状态只使用特征向量表示，我们假设特征向量一直是不变的(或者说只有一个状态)。我们需要只利用回报序列和动作序列评价好坏。由于我们没有状态，因此实际上无法给出各个状态的值，我们只好计算从当前时刻起很长区间的折扣累积回报，但是不同的时刻累积折扣回报是不同的，有的大有的小，所以我们可以算不同时刻的累积折扣回报的均值作为该序列好快的衡量。这种做法实际上等价于上一节介绍的平均回报方法，且得到的结果是：$r(\pi )/(1-\gamma )$[证明见下表]。因此，折扣因子实际上是没什么意义的。

The Futility of Discounting in Continuing Problems
$\begin{array}{rl}J(\pi )& =\sum _s{\mu }_{\pi }(s)v_{\pi }^{\gamma }(s)\\ & =\sum _s{\mu }_{\pi }(s)\sum _a\pi (a|s)\sum _{s^{\prime }}\sum _{r}p\left(s^{\prime },r|s,a\right)\left[r+\gamma v_{\pi }^{\gamma }\left(s^{\prime }\right)\right]\\ & =r(\pi )+\sum _s{\mu }_{\pi }(s)\sum _a\pi (a|s)\sum _{s^{\prime }}\sum _{r}p\left(s^{\prime },r|s,a\right)\gamma v_{\pi }^{\gamma }\left(s^{\prime }\right)\text{ (def of average return) }\\ & =r(\pi )+\gamma \sum _{s^{\prime }}{v}_{\pi }^{\gamma }\left(s^{\prime }\right)\sum _s{\mu }_{\pi }(s)\sum _a\pi (a|s)p\left(s^{\prime }|s,a\right)\\ & =r(\pi )+\gamma \sum _{s^{\prime }}{v}_{\pi }^{\gamma }\left(s^{\prime }\right){\mu }_{\pi }(s)\\ & =r(\pi )+\gamma J(\pi )\\ & =r(\pi )+\gamma r(\pi )+{\gamma }^{2}J(\pi )\\ & =\frac{1}{1-\gamma }r(\pi )\end{array}$

对于拟合器方法，由于我们计算的是$\overline{\mathrm{V}\mathrm{E}}$关于参数的导数，也就是我们关注的是策略整体的性能好坏，是所有状态的值函数的加权均值，因此就如这里的讨论，折扣因子并不影响策略的相对好坏，因而对于连续任务，拟合器类的方法使用平均回报实际上就比较好了。但是我们最初一些章节的表格化方法，针对每个状态下的策略是单独考虑的，不会互相影响，不必看成一个整体，因此就可以使用折扣类的值函数定义。

如果从理论上分析，则是拟合器的引入导致策略提升定理失效，因此单个状态值函数的提高不能导致整体的提高了，因为单个状态值函数的变化在拟合器上也会影响其它状态。

实际上，即使对于episodic任务，使用平均回报，仍然无法保证策略提升。因此拟合器类的方法在理论上是没有保证的，这目前还是开放的问题。我们在第十三章会介绍策略梯度理论，该理论类似于策略提升，在该理论下是可以保证策略的改善的。

6.微分半梯度n-step Sarsa

为了泛化n-step自举，我们需要n-step版本的TD误差，其微分形式为：

$G_{t:t+n}\doteq R_{t+1}-{\overline{R}}_{t+1}+R_{t+2}-{\overline{R}}_{t+2}+\cdots +R_{t+n}-{\overline{R}}_{t+n}+\hat{q}\left(S_{t+n},A_{t+n},{\mathbf{w}}_{t+n-1}\right)$

$\overline{R_t}$是不同时刻$r(\pi )$的估计；$n\ge 1$；$t+n<T$；当$t+n\ge T$时，令$G_{t:t+n}\doteq G_t$，n-step TD误差定义为：

${\delta }_t\doteq G_{t:t+n}-\hat{q}\left(S_t,A_t,\mathbf{w}\right)$

基于此，得到微分半梯度n-step Sarsa：

$\beta$参数应该设得小一些，但是这样会导致初始化值造成很长期的偏差；我们也可以不这样，直接用所有R的均值，但是由于策略在逐渐改善，因此这个估计就不是很准确，虽然是渐进无偏的，但是拖慢了收敛速度。这里可以采用第二章Optimistic Initial Values一节引入的Unbiased Constant-Step-Size技巧[暂时没写这个技巧，因为还没分析清其原理，后续补上，如果有兴趣可以自行阅读下图]。

7.总结

本节把prediction采用的思路扩展到了control过程。对于episodic任务，可以直接简单的扩展；对于continuing任务则需要重新定义值函数，然后在此基础上扩展。

• 平均回报。
• 各种式子的微分形式。
• 拟合器的引入导致折扣失效的原因：策略提升失效。

参考文献

[1].(张文知乎)https://zhuanlan.zhihu.com/c_1060499676423471104