动态规划求解强化学习任务——价值迭代

目录

前面部分介绍了策略改进定理的理论推导和策略迭代求解策略$\pi$的具体算法过程，本节将介绍动态规划求解强化学习任务最后一个模块——价值迭代。

回顾 - 策略迭代

在整体介绍中介绍了策略迭代共包含2个步骤：

• 策略评估(Policy Iteration)
  给定一个策略$\pi$,求出它的最优价值函数$V_{\pi }(s)$；
• 策略改进(Policy Improvement)
  基于策略评估给出的$V_{\pi }(s)\to$ 使用贪心策略，获取收益最大的动作作为新的策略$\pi (s)$

重复执行策略评估和策略改进，直到获取最优策略$\pi$，迭代结束。

策略迭代缺陷

在整个迭代过程中，策略评估(迭代解) 本身就是一个迭代过程，即便使用了策略改进定理优化了计算最优价值函数的过程，但仍改变不了其循环嵌套循环的本质。
为了优化掉这个嵌套循环的过程，我们将介绍价值迭代。

价值迭代

价值迭代介绍

针对策略迭代中策略评估过程中的缺陷，思考如何优化策略评估步骤；
首先回顾策略评估的算法过程：

输入	初始策略：$\pi (a\mid s)$,动态特性函数：$p(s^{\prime },r\mid s,a)$,奖励：$r$,折扣系数：$\gamma$
初始化操作 (Initialization operation)	1. 对 $\forall s\in \mathcal{S}$,初始化状态价值函数：如$V(s)=0$; 2.设置一个阈值$\theta$,将其设置为很小的实数值，如 $\theta =0.01$
策略评估 (Policy Evaluation)	1. repeat 对每一轮策略评估：$k=1,2,...$ 2.    $\delta \leftarrow 0$ 3.    for 每个状态$s$ do： 4.        $v\leftarrow V(s)$ 5.        $V(s)\leftarrow {\sum }_{a\in \mathcal{A}}\pi (a\mid s){\sum }_{s^{\prime },r}p(s^{\prime },r\mid s,a)[r+\gamma V(s^{\prime })]$ 6.        $\delta \leftarrow max(\delta ,\mid v-V(s)\mid )$ 7.    end for 8. until $\delta <\theta$
输出结果	$V(s)$

通过上述的算法过程，我们发现：
在计算新的$V_{\pi }(s)$过程中，使用贝尔曼期望方程 $\to$ 加权平均方法进行迭代；

计算加权平均方法是从整个策略本身对状态价值函数计算的结果。但在迭代过程中，中间过程中的价值函数并不是我们关心的对象，而只有最终迭代收敛后的$V_{\ast }(s),{\pi }_{\ast }(a\mid s)$才是我们关注的最终结果。

因此，如何优化策略迭代中循环嵌套循环的情况？提出一种解决方案：对策略评估进行截断：

从常规思路考虑，假设某一次迭代的策略改进结果为$\pi$，进入下一次的策略评估时，仍然需要上述算法通过迭代的方式求解精确的最优价值函数$V_{\ast }(s)$，这种方式实际上只要进行迭代，它必然会向最优价值函数方向更新,并且迭代次数越高，可优化的信息可能就越少(最优价值函数在更新过程中增长的越慢)
总而言之，通过大规模的迭代只是得到一个比较精确的中间过程的价值函数是很不划算的；
截断策略评估使用的方式

在策略评估的迭代过程中仅进行一步后直接进行策略改进；
根据贝尔曼方程满足的不动点定理 $\to$ 即便只是更新了一步，但它仍然产生了一个优于更新前的价值函数。
它具体是如何更新这一步的呢？

贝尔曼最优方程 $\to$ 干脆选择一个最优动作对应的状态-动作价值函数进行更新；
$$V_{k+1}(s)=\underset{a}{\max }\sum _{s^{\prime },r}p(s^{\prime },r\mid s,a)[r+\gamma V_k(s^{\prime })]$$

继续观察：

• 首先从数值角度来观察$V_{k+1}(s)$结果，在之前介绍的贝尔曼最优方程一节中提到，期望(加权平均)值小于最大值。因此，取最大值方式相比于期望方式必然更新的幅度更大一些；
• 从准确性角度观察$V_{k+1}(s)$结果，这个结果相比于期望方式求解结果必然更加粗糙一些。因为期望方式求解结果中存在策略的权重比例，而最大值方式默认这个权重比例为：
  $${\pi }_{\ast }(a\mid s)=\{\begin{array}{l}1ifa=\underset{a\in \mathcal{A}}{\mathrm{argmax}}{q}_{{\pi }^{\ast }}(s,a)\\ 0else\end{array}$$
  这必然会造成一部分权重丢失,但不影响价值函数迭代的收敛过程。
• 从价值函数的迭代角度观察$V_{k+1}(s)$结果，贝尔曼期望方程描述的是$V_{\pi }(s)$和$V_{\pi }(s^{\prime })$之间的关联关系；
  $$V_{\pi }(s)=\sum _{a\in \mathcal{A}}\pi (a\mid s)\sum _{s^{\prime },r}p(s^{\prime },r\mid s,a)[r+\gamma V_{\pi }(s^{\prime })]$$
  而贝尔曼最优方程本质上描述的是$V_{\pi }(s)$和最优状态-动作价值函数$q_{\pi }(s,a)$之间的关系，它将$V_{\pi }(s^{\prime })\to q_{\pi }(s,a)\to V_{\pi }(s)$的迭代路径截断了，只保留了$V_{\pi }(s^{\prime })\to q_{\pi }(s,a)$，并直接将$q_{\pi }(s,a)$最大值赋给$V_{\pi }(s)$。

从迭代过程理解，在给定$V_k(s^{\prime })$的条件下，直接对所有动作计算对应的$q_{k+1}(s,a)$，并返回一个关于$q_{k+1}(s,a)$的向量：
$$\begin{gathered} q_{k+1}(s,a)=\sum _{s^{\prime },r}p(s^{\prime },r\mid s,a)[r+\gamma V_k(s^{\prime })] \\ {q}_{k+1}(s,a)=\left(\begin{array}{c}{q}_{k+1}(s,a_1)\\ q_{k+1}(s,a_2)\\ q_{k+1}(s,a_3)\\ ...\\ q_{k+1}(s,a_n)\end{array}\right)(a_1,a_2,a_3,...,a_n\in \mathcal{A}(s)) \end{gathered}$$

在策略改进过程中，使用贪心策略从$q_{k+1}(s,a)$中选择一个最大动作-状态价值函数对应的动作作为新的策略：
$$a_{new}=\underset{a\in \mathcal{A}}{\mathrm{argmax}}{q}_{k+1}(s,a)$$

基于新策略$a_{new}$的价值函数表示如下：
$$\begin{array}{rl}{V}_{k+1}(s)& =q_{k+1}(s,a_{new})\\ & =\underset{a}{\max }{q}_{k+1}(s,a)\\ & =\underset{a}{\max }\sum _{s^{\prime },r}p(s^{\prime },r\mid s,a)[r+\gamma V_k(s^{\prime })]\end{array}$$

我们发现，相比于贝尔曼期望方程的策略评估迭代方式，截断策略评估方式已经非常模糊策略$\pi$的形式了，并不是说不计算策略$\pi$了，而是使用$max$的方式将策略$\pi$映射成了只包含[0,1]两种元素的向量形式，我们称使用这种策略评估的策略迭代方式为价值迭代。

价值迭代总结

价值迭代本质上是极端情况下的策略迭代 $\to$ 这种极端指的是迭代过程中的策略很极端；

• 由于迭代方式求解策略评估中使用贝尔曼期望方程进行价值函数的更新 $\to$ 必然根据策略$\pi$内部各动作的权重分布计算更新后的价值函数，并且对后续的策略改进过程中对策略$\pi$的计算有严格要求。
  策略迭代的迭代流程如下表示：
  $$V_{init}(s)\to {\pi }_1\to V_1(s)\to {\pi }_2\to V_2(s)\to ...$$

• 价值迭代中的策略评估模糊了策略$\pi$的概念，其最终目的就是求出最优价值函数$V_{\ast }(s)$，
  价值迭代的迭代流程如下表示：
  $$V_{init}(s)\to V_1(s)\to V_2(s)\to ...$$

• 将最优价值函数求出之后，可以基于$V_{\ast }(s)$求出对应的最优策略${\pi }_{\ast }$。
  $$\begin{array}{rl}{\pi }_{\ast }& =\underset{a\in \mathcal{A}}{\mathrm{argmax}}{q}_{\pi }(s,a)\\ & =\underset{a\in \mathcal{A}}{\mathrm{argmax}}\sum _{s^{\prime },r}p(s^{\prime },r\mid s,a)[r+\gamma V_{\ast }(s)]\end{array}$$

异步更新(就地更新)方法

策略评估迭代过程中的通病问题

重新观察策略迭代和价值迭代中策略评估过程中价值函数计算迭代公式：
$$\begin{array}{rl}{V}_{k+1}(s)& =\underset{a}{\max }\sum _{s^{\prime },r}p(s^{\prime },r\mid s,a)[r+\gamma V_k(s^{\prime })]\\ V_{k+1}(s)& =\sum _{a\in \mathcal{A}}\pi (a\mid s)\sum _{s^{\prime },r}p(s^{\prime },r\mid s,a)[r+\gamma V_k(s^{\prime })]\end{array}$$
由于$\mathcal{S}$是以向量形式表示的状态空间(State Space)，我们发现，无论是哪种迭代方式，我们都需要遍历整个状态空间,将所有状态对应结果全部求出之后才能继续进行迭代；
$$\mathcal{S}=\left(\begin{array}{c}{s}_1\\ s_2\\ s_3\\ ...\\ s_n\end{array}\right)V_{k+1}(\mathcal{S})=\left(\begin{array}{c}{V}_{k+1}(s_1)\\ V_{k+1}(s_2)\\ V_{k+1}(s_3)\\ ...\\ V_{k+1}(s_n)\end{array}\right)$$
如果状态空间很大(状态空间复杂)，在求解$V_{k+1}(s)$过程中不仅花费大量计算代价，并且需要分配存储空间存储该信息。

就地更新方法核心是在策略评估中 $\to$ 采取随机选择某一状态计算并更新对应位置的价值函数，以此替代遍历整个状态空间的方法。每次策略评估只更新某一状态的状态价值函数，状态价值函数向量内的其他位置的状态价值函数不变。我们称这种方法为异步策略迭代。
使用价值迭代和异步策略方式可以更高效地求解最优策略。

广义策略迭代(Generalized Policy Iteration,GPI)

广义策略迭代并不表示某个具体算法，而是表示一种迭代理念。策略迭代方法(包含策略迭代和价值迭代)都是通过策略评估和策略改进两个流程交互进行。具体做法是(以基于状态价值函数的迭代过程进行示例)：

在策略评估过程中，我们通过贝尔曼期望方程迭代求解$V_{\pi }(s)$(策略迭代)或通过贝尔曼最优方程迭代求解$V_{\pi }(s)$(价值迭代)，不可否认的是需要将所有状态$s\in \mathcal{S}$全部求解完毕后再执行策略改进步骤；
$$\mathcal{S}=\left(\begin{array}{c}{s}_1\\ s_2\\ s_3\\ ...\\ s_n\end{array}\right)\to V_{\pi }(\mathcal{S})=\left(\begin{array}{c}{V}_{\pi }(s_1)\\ V_{\pi }(s_2)\\ V_{\pi }(s_3)\\ ...\\ V_{\pi }(s_n)\end{array}\right)$$
我们可以看出，策略评估和策略改进之间界限分明，我们称这种方法为经典策略迭代(Classical Policy Iteration)。
而广义策略迭代相比与经典策略迭代，它不关心策略评估和策略改进的细节，而只是强调策略评估和策略改进之间的交互关系。

广义策略迭代的核心思想：策略评估只要还在更新价值函数，即便策略评估没有结束，我们仍然可以进行策略改进。只要两个迭代过程都在不断地更新，就能收敛到最优价值函数和最优策略。异步策略方法很明显就是一种GPI思想。

广义策略迭代思想优势在于：经典策略迭代中的策略评估和策略改进之间存在明确的顺序关系，因此每一次迭代产生的价值函数$V_{\pi }(s)$和策略$\pi$都是相互匹配的；而广义策略迭代中由于价值函数$V_{\pi }(s)$和策略$\pi$还未完全更新完毕就直接执行下一步操作，意味着 $V_{\pi }(s)$和$\pi$之间不匹配；两者在长期的博弈后，两个流程结果都会趋于同一目标——最优价值函数$V_{\ast }(s)$和最优策略${\pi }_{\ast }$。

至此，动态规划求解强化学习任务理论部分全部介绍完毕，下一节将简单介绍使用蒙特卡洛方法求解强化学习任务。

相关参考：
【强化学习】动态规划【白板推导系列】