ADPRL - 近似动态规划和强化学习 - Note 8 - 近似策略迭代 (Approximate Policy Iteration)

Note 8 近似策略迭代 Approximate Policy Iteration

在Note 7 中，我们介绍了参数化函数近似的概念，以及它在近似值迭代算法中的应用。尽管AVI的收敛特性已被证明是有希望的，但它与原始$VI$算法的内在限制仍然存在。在本节中，我们开发了一个近似策略迭代算法的框架。

8.1 通用框架 （A Generic Framework）

与近似的VI算法类似，我们可以构建一个体系来近似策略评估和策略改进步骤，具体如下

1. 对于一个给定的策略${\pi }_k$，我们的目标是找到真实总成本$J^{{\pi }_k}$的近似值$J_k$，即
   $${\Vert J_k-J^{{\pi }_k}\Vert }_{\infty }\le \delta \text{\hspace{1em}(8.1)}$$
   请注意，真正的总成本$J^{{\pi }_k}$ 在一般情况下是无法给定的。这里可以采用贝尔曼残差最小化的思想。

2. 通过采用与公式( $7.31$ )中近似贪婪化步骤相同的策略，我们也可以将其放宽为近似策略改进。也就是说，给定第$k$个价值函数估计值$J_k$，我们找到一个策略${\pi }_{k+1}$，满足以下条件
   $${\Vert {\mathrm{T}}_{{\pi }_{k+1}}{J}_k-{\mathrm{T}}_{\mathfrak{g}}{J}_k\Vert }_{\infty }\le ϵ,\text{\hspace{1em}(8.2)}$$
   其中$ϵ>0$是不严格策略改进（inexact policy improvement）的准确性。

这样一个通用的近似PI算法在算法10中给出。

为了确定近似PI算法的误差界限，我们需要以下两个引理（Lemma）。

Lemma 8.1 单调性下的误差约束(Error bound under monotonicity)

给出一个无限范围的MDP $\{\mathcal{X},\mathcal{U},p,g,\gamma \}$，和一个固定的策略$\pi$。让$J\in {\mathbb{R}}^K$中，满足以下条件
$${\mathrm{T}}_{\pi }J\le J+c1\text{\hspace{1em}(8.3)}$$

且有$c>0$，那么策略$\pi$的总成本函数就有如下的约束
$$J^{\pi }\le J+\frac{c}{1-\gamma }1\text{\hspace{1em}(8.4)}$$

---

Proof.

贝尔曼算子${\mathrm{T}}_{\pi }$的恒定位移属性意味着对于所有$k\in \mathbb{N}$来说
$${\mathrm{T}}_{\pi }^{k}J\le {\mathrm{T}}_{\pi }^{k-1}J+{\gamma }^{k-1}c1\text{\hspace{1em}(8.5)}$$

然后我们对任意$k$构建
$$\begin{array}{rl}{\mathrm{T}}_{\pi }^{k}J-J& ={\mathrm{T}}_{\pi }^{k}J-{\mathrm{T}}_{\pi }^{k-1}J+{\mathrm{T}}_{\pi }^{k-1}J-\dots +{\mathrm{T}}_{\pi }J-J\\ & =\sum _{t=1}^k\left({\mathrm{T}}_{\pi }^{k}J-{\mathrm{T}}_{\pi }^{k-1}J\right)\\ & \le \sum _{t=1}^k{\gamma }^{t-1}c1\end{array}\text{\hspace{1em}(8.6)}$$

结果是通过$t\to \infty$而得出的。

---

Lemma 8.2 单一近似PI扫描的误差边界 (Error bound of single approximate PI sweep)

给定一个无限范围的MDP $\{\mathcal{X},\mathcal{U},p,g,\gamma \}$，一个固定的策略$\pi$，一个在${\mathbb{R}}^K$中的估计值$J$，以及两个固定的策略$\pi$和${\pi }^{\prime }$，如果以下两个条件在某些$\delta \ge 0$和$ϵ\ge 0$时成立

$${\Vert J-J^{\pi }\Vert }_{\infty }\le \delta ,\text{ and }{\Vert {\mathrm{T}}_{{\pi }^{\prime }}J-{\mathrm{T}}_{\mathfrak{g}}J\Vert }_{\infty }\le ϵ\text{\hspace{1em}(8.7)}$$

然后我们有

$${\Vert J^{{\pi }^{\prime }}-J^{\ast }\Vert }_{\infty }\le \gamma {\Vert J^{\pi }-J^{\ast }\Vert }_{\infty }+\frac{ϵ+2\gamma \delta }{1-\gamma }\text{\hspace{1em}(8.8)}$$

---

Proof.

根据${\mathrm{T}}_{\mathfrak{g}}$和${\mathrm{T}}_{{\pi }^{\prime }}$的收缩特性，公式（8.7）中的第一个不等式意味着
$${\Vert {\mathrm{T}}_{{\pi }^{\prime }}J-{\mathrm{T}}_{{\pi }^{\prime }}{J}^{\pi }\Vert }_{\infty }\le \gamma \delta ,\text{ and }{\Vert {\mathrm{T}}_{\mathfrak{g}}J-{\mathrm{T}}_{\mathfrak{g}}{J}^{\pi }\Vert }_{\infty }\le \gamma \delta \text{\hspace{1em}(8.9)}$$

因此
$${\mathrm{T}}_{{\pi }^{\prime }}{J}^{\pi }\le {\mathrm{T}}_{{\pi }^{\prime }}J+\gamma \delta 1,\text{ and }{\mathrm{T}}_{\mathfrak{g}}J-{\mathrm{T}}_{\mathfrak{g}}{J}^{\pi }\le \gamma \delta 1\text{\hspace{1em}(8.10)}$$

类似地，由公式（8.7）中的第二个不等式得出
$${\mathrm{T}}_{{\pi }^{\prime }}J\le {\mathrm{T}}_{\mathfrak{g}}J+ϵ1\text{\hspace{1em}(8.11)}$$

然后我们得到

$$\begin{array}{rl}{\mathrm{T}}_{{\pi }^{\prime }}{J}^{\pi }& \le {\mathrm{T}}_{{\pi }^{\prime }}J+\gamma \delta 1\\ & \le {\mathrm{T}}_{\mathfrak{g}}J+(ϵ+\gamma \delta )1\\ & \le {\mathrm{T}}_{\mathfrak{g}}{J}^{\pi }+(ϵ+2\gamma \delta )1\\ & \le J^{\pi }+(ϵ+2\gamma \delta )1\end{array}\text{\hspace{1em}(8.12)}$$

其中，第二个不等式是由于公式（8.11），第三个不等式由公式（8.10）中的第二个不等式得出，最后一个不等式是由于${\mathrm{T}}_{\mathfrak{g}}$的策略改进属性，即${\mathrm{T}}_{\mathfrak{g}}{J}^{\pi }\le {\mathrm{T}}_{\pi }{J}^{\pi }=J^{\pi }$

根据Lemma 8.1，我们有
$$J^{{\pi }^{\prime }}\le J^{\pi }+\frac{ϵ+2\gamma \delta }{1-\gamma }1\text{\hspace{1em}(8.13)}$$

并进一步将贝尔曼算子$T_{{\pi }^{\prime }}$应用于不等式的两边，去得到

$${\mathrm{T}}_{{\pi }^{\prime }}{J}^{{\pi }^{\prime }}=J^{{\pi }^{\prime }}\le {\mathrm{T}}_{{\pi }^{\prime }}{J}^{\pi }+\frac{ϵ+2\gamma \delta }{1-\gamma }\gamma 1.\text{\hspace{1em}(8.14)}$$

从不等式的两边减去$J^{\ast }$，我们得到
$$\begin{array}{rl}{J}^{{\pi }^{\prime }}-J^{\ast }& \le {\mathrm{T}}_{{\pi }^{\prime }}{J}^{\pi }-J^{\ast }+\frac{ϵ+2\gamma \delta }{1-\gamma }\gamma 1\\ & \le {\mathrm{T}}_{\mathfrak{g}}{J}^{\pi }+(ϵ+2\gamma \delta )1-J^{\ast }+\frac{ϵ+2\gamma \delta }{1-\gamma }\gamma 1\\ & ={\mathrm{T}}_{\mathfrak{g}}{J}^{\pi }-{\mathrm{T}}_{\mathfrak{g}}{J}^{\ast }+\frac{ϵ+2\gamma \delta }{1-\gamma }1\end{array}\text{\hspace{1em}(8.15)}$$

其中，第二个不等式由公式（8.12）中的第三个不等式得出，而平等则是由于最优贝尔曼算子${\mathrm{T}}_{\mathfrak{g}}$的唯一固定点。最后，我们对公式（8.15）应用无穷范数

$$\begin{array}{rl}{\Vert J^{{\pi }^{\prime }}-J^{\ast }\Vert }_{\infty }& \le {\Vert {\mathrm{T}}_{\mathfrak{g}}{J}^{\pi }-{\mathrm{T}}_{\mathfrak{g}}{J}^{\ast }\Vert }_{\infty }+\frac{ϵ+2\gamma \delta }{1-\gamma }\\ & \le \gamma {\Vert J^{\pi }-J^{\ast }\Vert }_{\infty }+\frac{ϵ+2\gamma \delta }{1-\gamma }\end{array}\text{\hspace{1em}(8.16)}$$

这就完成了证明。

---

最后，我们总结出近似PI算法的误差边界如下。

Proposition 8.1 近似PI算法的误差边界 (Error bound of the approximate PI algorithm)

给定一个无限范围的MDP $\{\mathcal{X},\mathcal{U},p,g,\gamma \}$，由近似PI方法产生的${\pi }_k$序列满足以下条件
$$\underset{k\to \infty }{\lim }{\Vert J^{{\pi }_k}-J^{\ast }\Vert }_{\infty }\le \frac{ϵ+2\gamma \delta }{(1-\gamma {)}^2}.\text{\hspace{1em}(8.17)}$$

---

Proof.

给定一个任意的${\pi }_0$，Lemma $8.2$意味着
$${\Vert J^{{\pi }_1}-J^{\ast }\Vert }_{\infty }\le \gamma {\Vert J^{{\pi }_0}-J^{\ast }\Vert }_{\infty }+\frac{ϵ+2\gamma \delta }{1-\gamma }\text{\hspace{1em}(8.18)}$$

通过直接的归纳论证，对于任意的$k$，可以得出
$${\Vert J^{{\pi }_k}-J^{\ast }\Vert }_{\infty }\le {\gamma }^k{\Vert J^{{\pi }_0}-J^{\ast }\Vert }_{\infty }+\left(\sum _{i=0}^{k-1}{\gamma }^i\right)\frac{ϵ+2\gamma \delta }{1-\gamma }\text{\hspace{1em}(8.19)}$$

结果是通过令$k\to \infty$得出的。

---

需要注意的是，由近似PI算法产生的策略的误差范围不能保证在策略空间内收敛。也就是说，近似PI算法可以在一组策略中摇摆，见图14。

图14：近似PI算法的潜在收敛模式说明。当误差约束宽松时，近似PI算法产生的策略可能会在几个候选者中摇摆，例如$\left\{{\pi }_1,{\pi }_2,{\pi }_3,{\pi }_4\right\}.$ 当误差约束足够严格时，产生的策略可能会收敛到一个定值，例如${\pi }_1$。

然而，在某些情况下，该算法可以收敛到一个单一的策略。在Note的其余部分，我们确定了策略收敛时近似PI算法的误差边界。

Proposition 8.2 策略空间收敛下近似PI的误差界线 (Error bounds of approximate PI under convergence in policy space)

给定一个无限范围的MDP $\{\mathcal{X},\mathcal{U},p,g,\gamma \}$，让${\pi }^{\prime }$作为近似PI算法收敛的策略。那么我们有

$${\Vert J^{{\pi }^{\prime }}-J^{\ast }\Vert }_{\infty }\le \frac{ϵ+2\gamma \delta }{1-\gamma }\text{\hspace{1em}(8.20)}$$

---

Proof.

让$J^{\prime }\in {\mathbb{R}}^K$是由${\pi }^{\prime }$的近似策略评估产生的策略，即$J^{\prime }$和${\pi }^{\prime }$满足近似PI算法的条件

$${\Vert J^{\prime }-J^{{\pi }^{\prime }}\Vert }_{\infty }\le \delta ,\text{ and }{\Vert {\mathrm{T}}_{{\pi }^{\prime }}{J}^{\prime }-{\mathrm{T}}_{\mathfrak{g}}{J}^{\prime }\Vert }_{\infty }\le ϵ\text{. }\text{\hspace{1em}(8.21)}$$

那么，我们有

$$\begin{array}{rl}{\Vert {\mathrm{T}}_{\mathfrak{g}}{J}^{{\pi }^{\prime }}-J^{{\pi }^{\prime }}\Vert }_{\infty }\le & {\Vert {\mathrm{T}}_{\mathfrak{g}}{J}^{{\pi }^{\prime }}-{\mathrm{T}}_{\mathfrak{g}}{J}^{\prime }\Vert }_{\infty }+{\Vert {\mathrm{T}}_{\mathfrak{g}}{J}^{\prime }-{\mathrm{T}}_{{\pi }^{\prime }}{J}^{\prime }\Vert }_{\infty }+\\ & +{\Vert {\mathrm{T}}_{{\pi }^{\prime }}{J}^{\prime }-J^{{\pi }^{\prime }}\Vert }_{\infty }\\ \le & \gamma {\Vert J^{{\pi }^{\prime }}-J^{\prime }\Vert }_{\infty }+{\Vert {\mathrm{T}}_{\mathfrak{g}}{J}^{\prime }-{\mathrm{T}}_{{\pi }^{\prime }}{J}^{\prime }\Vert }_{\infty }+\\ & +\gamma {\Vert J^{\prime }-J^{{\pi }^{\prime }}\Vert }_{\infty }\\ \le & ϵ+2\gamma \delta \end{array}\text{\hspace{1em}(8.22)}$$

其中，第一个不等式来自无穷范数的三角形性质，第二个不等式是由于${\mathrm{T}}_{\mathfrak{g}}$和${\mathrm{T}}_{{\pi }^{\prime }}$的收缩性质，而最后一个不等式仅仅回顾了公式（8.21）中的结果。那么，公式(8.20)中的不等式是对Lemma 3.4的直接应用。

---

显然，稳定收敛下的近似PI算法的误差界限比被发散的情况要严格得多，特别是当折扣系数$\gamma$接近1时。

8.2 近似策略评估 (Approximate Policy Evaluation)

对通用API的收敛特性的分析表明了近似策略评价的性能的重要性。类似于开发AVI的最小化贝尔曼残差的策略也可以应用于策略评估。

定义8.1 近似总成本函数

给定一个无限范围的$MDP\{\mathcal{X},\mathcal{U},p,g,\gamma \}$，一个固定的策略$\pi$和一个总成本函数空间$\mathcal{J}$，总成本函数$J\in \mathcal{J}$的近似总成本函数$J^{\pi }$是通过最小化贝尔曼残差给出的，即

$$J_B^{\pi }\in \underset{J\in \mathcal{J}}{\mathrm{argmin}}{\Vert {\mathrm{T}}_{\pi }J-J\Vert }_{\infty }.\text{\hspace{1em}(8.23)}$$

通过最小化Bellman残差误差，估计$J_B^{\pi }$的误差边界如下。

Lemma 8.3 近似成本函数的边界

给定一个无限范围$MDP\{\mathcal{X},\mathcal{U},p,q,\gamma \}$，让$J^{\pi }$为固定的策略$\pi$的总成本函数。那么，对于任何总成本函数$J\in {\mathbb{R}}^K$中，以下不等式成立

$${\Vert J-J^{\pi }\Vert }_{\infty }\le \frac{1}{1-\gamma }{\Vert J-{\mathrm{T}}_{\pi }J\Vert }_{\infty }.\text{\hspace{1em}(8.24)}$$

---

Proof.
直接的有
$$\begin{array}{rl}{\Vert J-J^{\pi }\Vert }_{\infty }& ={\Vert J-{\mathrm{T}}_{\pi }J+{\mathrm{T}}_{\pi }J-J^{\pi }\Vert }_{\infty }\\ & ={\Vert J-{\mathrm{T}}_{\pi }J\Vert }_{\infty }+{\Vert {\mathrm{T}}_{\pi }J-J^{\pi }\Vert }_{\infty }\\ & \le {\Vert J-{\mathrm{T}}_{\pi }J\Vert }_{\infty }+\gamma {\Vert J-J^{\pi }\Vert }_{\infty }\end{array}\text{\hspace{1em}(8.25)}$$

---

Proposition 8.3 估计值与真实总成本函数之间的约束

给出一个无限范围$MDP\{\mathcal{X},\mathcal{U},p,g,\gamma \}$，一个固定的策略$\pi$和一个总成本函数空间$\mathcal{J}$。让$J_B^{\pi }\in \mathcal{J}$为MSBE问题的全局最小值。那么估计值与真实总成本函数$J^{\pi }$之间的误差有如下约束

$${\Vert J_B^{\pi }-J^{\pi }\Vert }_{\infty }\le \frac{1+\gamma }{1-\gamma }\underset{J\in \mathcal{J}}{\min }{\Vert J-J^{\pi }\Vert }_{\infty }.\text{\hspace{1em}(8.26)}$$

---

Proof.

通过应用无穷范数的三角不等式，我们可以得到
$$\begin{array}{rl}{\Vert {\mathrm{T}}_{\pi }J-J\Vert }_{\infty }& \le {\Vert {\mathrm{T}}_{\pi }J-J^{\pi }\Vert }_{\infty }+{\Vert J^{\pi }-J\Vert }_{\infty }\\ & \le (1+\gamma ){\Vert J-J^{\pi }\Vert }_{\infty }.\end{array}\text{\hspace{1em}(8.27)}$$

直截了当地有
$$\begin{array}{rl}{\Vert {\mathrm{T}}_{\pi }{J}_B^{\pi }-J_B^{\pi }\Vert }_{\infty }& =\underset{J\in \mathcal{J}}{\min }{\Vert {\mathrm{T}}_{\pi }J-J\Vert }_{\infty }\\ & \le (1+\gamma )\underset{J\in \mathcal{J}}{\min }{\Vert J-J^{\pi }\Vert }_{\infty }.\end{array}\text{\hspace{1em}(8.28)}$$

结合不等式和Lemma $8.3$中的结果，证明了这一点。

---

显然，公式(8.23)中给出的MSBE成本在数值上仍然是难以优化的。因此，与AVI类似，我们可以定义以下平均贝尔曼误差（Mean Squared Bellman Error, MSBE） 的最小化问题
$$J_2^{\pi }\in \underset{J\in \mathcal{J}}{\mathrm{argmin}}{\Vert {\mathrm{T}}_{\pi }J-J\Vert }_2.\text{\hspace{1em}(8.29)}$$

如果我们采用贝尔曼算子的矩阵形式表达，并选择函数近似空间为线性，即${\mathrm{T}}_{\pi }J=G_{\pi }+\gamma P_{\pi }{\Phi }^{\top }h$，则有上述问题的近似形式表达

$$J_2^{\pi }={\left(W_{\pi }^{\top }{W}_{\pi }\right)}^{-1}{W}_{\pi }^{\top }{G}_{\pi }\text{\hspace{1em}(8.30)}$$

其中 $W_{\pi }=\left(I_K-\gamma P_{\pi }\right){\Phi }^{\top }$。 虽然这个解决方案很简单，也很有保证，但不幸的是，没有任何有意义的误差界限可以用来描述这种近似的质量。

8.3 近似的策略评估与遍历性 Approximate Policy Evaluation with Ergodicity

虽然MSBE最小化问题定义明确，也有简单的数值解，但它继承了DP的性质，即对模型信息的要求。在SDM的各种实际应用中，对没有明确模型的问题的有效解决方案有很大的需求。具体来说，我们研究了一类特殊的MDPs，这使得无模型的DP算法得以发展。

8.3.1 各态历经的MDP（Ergodic MDP）

给定一个无限范围的MDP $\{\mathcal{X},\mathcal{U},p,g,\gamma \}$和一个固定的策略$\pi$，众所周知，系统转换可以被建模为马尔可夫链。为了通过抽样检索完整的模型信息，必须假设每个状态都可以从任何其他状态到达，因此对状态有一个唯一的静止分布。因此，我们对由底层MDP模型和策略$\pi$规定的状态转换的马尔可夫链施加以下假设

Assumption 8.1 过渡矩阵$P_{\pi }$的各态历经性

给定一个无限范围的MDP $\{\mathcal{X},\mathcal{U},p,g,\gamma \}$和一个固定的策略$\pi$，由过渡矩阵$P_{\pi }$定义的马尔可夫链是各态历经的。

让我们用${\xi }_i$表示第$i$个相应状态的概率。各态历经性假设意味着所有$i=1,\dots ,K$的${\xi }_i$都是正定的，也就是说，马尔科夫链有一个唯一的稳定状态分布。让我们定义$\xi :={\left[{\xi }_1,\dots ,{\xi }_K\right]}^{\top }\in {\mathbb{R}}^K$, 与 $x\in {\mathbb{R}}^K$。 $\xi$与过渡矩阵$P_{\pi }$之间的关系的特点是

$$P_{\pi }^{\top }\xi =\xi \text{\hspace{1em}(8.31)}$$

显然，向量$\xi$是$P_{\pi }^{\top }$的右特征向量，与特征值为1有关。此外，由于$\xi$的所有条目都是正的，我们可以将$\xi$的加权范数定义为

$$\Vert x{\Vert }_{\xi }=\sqrt{\sum _{k=1}^K{\xi }_i{x}_i^2}\text{\hspace{1em}(8.32)}$$

Lemma 8.4 $\xi$加权范数

给定一个无限范围的$MDP\{\mathcal{X},\mathcal{U},p,g,\gamma \}$，和一个固定的策略$\pi$，对于任何$K\times K$过渡概率矩阵$P_{\pi }$，具有一个不变的分布$\xi =\left({\xi }_1,\dots ,{\xi }_n\right)$，有值为正的组成部分，我们有

$${\Vert P_{\pi }J\Vert }_{\xi }\le \Vert J{\Vert }_{\xi }\text{\hspace{1em}(8.33)}$$

---

Proof
令$P_{\pi }=\left\{p_{ij}\right\}$, 然后我们得到
$$\begin{array}{rlr}{\Vert P_{\pi }J\Vert }_{\xi }^2& ={\sum }_{i=1}^n{\xi }_i{\left({\sum }_{j=1}^n{p}_{ij}{J}_j\right)}^2& \text{ (definition) }\\ & \le {\sum }_{i=1}^n{\xi }_i{\sum }_{j=1}^n{p}_{ij}{J}_j^2& \text{ (convexity) }\\ & ={\sum }_{j=1}^n{\sum }_{i=1}^n{\xi }_i{p}_{ij}{J}_j^2& \\ & ={\sum }_{j=1}^n{\xi }_j{J}_j^2& \\ \le & \Vert J{\Vert }_{\xi }^2& \text{ (definition) }\end{array}\text{\hspace{1em}(8.34)}$$

---

Proposition 8.4 $\xi$加权范数下的贝尔曼算子的收缩性

给定一个无限的范围的$MDP\{\mathcal{X},\mathcal{U},p,g,\gamma \}$，和一个固定的策略$\pi$，那么贝尔曼算子${\mathrm{T}}_{\pi }$是模数$\gamma$相对于$\xi$加权范数的收缩，即：
$${\Vert {\mathrm{T}}_{\pi }J-{\mathrm{T}}_{\pi }{J}^{\prime }\Vert }_{\xi }\le \gamma {\Vert J-J^{\prime }\Vert }_{\xi }.\text{\hspace{1em}(8.35)}$$

---

Proof.
为了简单起见，我们使用贝尔曼算子 ${\mathrm{T}}_{\pi }J:=G_{\pi }+\gamma P_{\pi }J$的紧凑表示，然后，我们得到
$$\begin{array}{rl}{\Vert {\mathrm{T}}_{\pi }J-{\mathrm{T}}_{\pi }{J}^{\prime }\Vert }_{\xi }& ={\Vert \gamma P_{\pi }\left(J-J^{\prime }\right)\Vert }_{\xi }\\ & \le \gamma {\Vert J-J^{\prime }\Vert }_{\xi }\end{array}\text{\hspace{1em}(8.36)}$$
这直接来自于Lemma 8.4。

---

通过采用这一特性，我们可以在$\xi$加权范数中定义以下的均方贝尔曼误差（MSBE）。
$$J_{\beta }^{\pi }\in \underset{J\in \mathcal{J}}{\mathrm{argmin}}{\Vert {\mathrm{T}}_{\pi }J-J\Vert }_{\xi }\text{\hspace{1em}(8.37)}$$

与第8.2节的分析类似，我们可以推导出MSBE最小化在$\xi$加权规范下的误差界限如下。

Lemma 8.5 $\xi$加权范数下的边界

给定一个无限范围的$MDP\{\mathcal{X},\mathcal{U},p,g,\gamma \}$，让$J^{\pi }$是一个固定策略$\pi$的总成本函数。那么，对于任何总成本函数$J\in {\mathbb{R}}^K$中，以下不等式是成立的
$${\Vert J-J^{\pi }\Vert }_{\xi }\le \frac{1}{1-\gamma }{\Vert J-{\mathrm{T}}_{\pi }J\Vert }_{\xi }\text{\hspace{1em}(8.38)}$$

---

Proof.
直接的有

$$\begin{array}{rl}{\Vert J-J^{\pi }\Vert }_{\xi }& ={\Vert J-{\mathrm{T}}_{\pi }J+{\mathrm{T}}_{\pi }J-J^{\pi }\Vert }_{\xi }\\ & ={\Vert J-{\mathrm{T}}_{\pi }J\Vert }_{\xi }+{\Vert {\mathrm{T}}_{\pi }J-J^{\pi }\Vert }_{\xi }\\ & \le {\Vert J-{\mathrm{T}}_{\pi }J\Vert }_{\xi }+\gamma {\Vert J-J^{\pi }\Vert }_{\xi }\end{array}\text{\hspace{1em}(8.39)}$$

---

Proposition 8.5 $\xi$加权范数下的估计值与真实总成本函数之间的约束

给出一个无限范围的$MDP\{\mathcal{X},\mathcal{U},p,g,\gamma \}$，一个固定的策略$\pi$和一个总成本函数空间$\mathcal{J}$。让$J_B^{\pi }\in \mathcal{J}$为MSBE问题的全局最小值。那么估计值与真实总成本函数$J^{\pi }$之间的误差有如下约束

$${\Vert J_{\beta }^{\pi }-J^{\pi }\Vert }_{\xi }\le \frac{1+\gamma }{1-\gamma }\underset{J\in \mathcal{J}}{\min }{\Vert J-J^{\pi }\Vert }_{\xi }.\text{\hspace{1em}(8.40)}$$

---

Proof.
通过应用无穷范数的三角不等式，我们可以得到

$$\begin{array}{rl}{\Vert {\mathrm{T}}_{\pi }J-J\Vert }_{\xi }& \le {\Vert {\mathrm{T}}_{\pi }J-J^{\pi }\Vert }_{\xi }+{\Vert J^{\pi }-J\Vert }_{\xi }\\ & \le (1+\gamma ){\Vert J-J^{\pi }\Vert }_{\xi }.\end{array}\text{\hspace{1em}(8.41)}$$

简单地说，我们有

$$\begin{array}{rl}{\Vert {\mathrm{T}}_{\pi }{J}_{\beta }^{\pi }-J_{\beta }^{\pi }\Vert }_{\xi }& =\underset{J\in \mathcal{J}}{\min }{\Vert {\mathrm{T}}_{\pi }J-J\Vert }_{\xi }\\ & \le (1+\gamma )\underset{J\in \mathcal{J}}{\min }{\Vert J-J^{\pi }\Vert }_{\xi }\end{array}\text{\hspace{1em}(8.42)}$$

将该不等式与$8.5$的结果结合起来，就完成了证明。

8.3.2 平均平方预测贝尔曼误差 (Mean Squared Projected Bellman Error)

最后，如果我们把自己限制在一个线性函数近似的方案中，我们需要一个正交投影到${\mathcal{J}}_l$，相对于$\xi$的加权规范。具体来说，我们需要解决以下最小化问题
$${\Pi }_{\Phi }(J):={\Phi }^{\top }\underset{h\in {\mathbb{R}}^m}{\mathrm{argmin}}{\Vert J-{\Phi }^{\top }h\Vert }_{\xi }^2\text{\hspace{1em}(8.43)}$$

由于最小平方函数是凸的，解决方案的特点是通过解决以下方程$h$来实现的
$$\Phi \Xi {\Phi }^{\top }h=\Phi \Xi J\text{\hspace{1em}(8.44)}$$

由于$\mathrm{rk}(\Phi )=m$，正交投影被明确定义为
$${\Pi }_{\Phi }(J):={\Phi }^{\top }{\left(\Phi \Xi {\Phi }^{\top }\right)}^{-1}\Phi \Xi J\text{\hspace{1em}(8.45)}$$

Lemma 8.6 非扩张性投影算子${\Pi }_{\Phi }$

给出一个无限范围的$MDP\{\mathcal{X},\mathcal{U},p,g,\gamma \}$，和一个固定的策略$\pi$。那么，投影${\Pi }_{\Phi }$在$\xi -$范数下是一个非扩张性算子，即。
$${\Vert {\Pi }_{\Phi }J-{\Pi }_{\Phi }{J}^{\prime }\Vert }_{\xi }\le {\Vert J-J^{\prime }\Vert }_{\xi }.\text{\hspace{1em}(8.46)}$$

---

Proof.
不难发现

$$\begin{array}{rl}{\Vert {\Pi }_{\Phi }J-{\Pi }_{\Phi }{J}^{\prime }\Vert }_{\xi }^2& ={\Vert {\Pi }_{\Phi }\left(J-J^{\prime }\right)\Vert }_{\xi }^2\\ & \le {\Vert {\Pi }_{\Phi }\left(J-J^{\prime }\right)\Vert }_{\xi }^2+{\Vert \left(I-{\Pi }_{\Phi }\right)\left(J-J^{\prime }\right)\Vert }_{\xi }^2\\ & ={\Vert J-J^{\prime }\Vert }_{\xi }^2\end{array}\text{\hspace{1em}(8.47)}$$

其中最后一个等式由勾股定理得出。证明结束。

---

Proposition 8.6. 投影算子${\Pi }_{\Phi }$的收缩性

给定一个无限范围的$MDP\{\mathcal{X},\mathcal{U},p,g,\gamma \}$，和一个固定的策略$\pi$，那么投影贝尔曼算子${\Pi }_{\Phi }{\mathrm{T}}_{\pi }$是相对于$\Vert \cdot {\Vert }_{\xi }$的模为$\gamma$的收缩。

---

Proof.

直接从Lemma $8.6$中，我们得出结论
$$\begin{array}{rl}{\Vert {\Pi }_{\Phi }{\mathrm{T}}_{\pi }J-{\Pi }_{\Phi }{\mathrm{T}}_{\pi }{J}^{\prime }\Vert }_{\xi }& \le {\Vert {\mathrm{T}}_{\pi }J-{\mathrm{T}}_{\pi }{J}^{\prime }\Vert }_{\xi }\\ & \le \gamma {\Vert J-J^{\prime }\Vert }_{\xi }.\end{array}\text{\hspace{1em}(8.48)}$$

---

这个命题表明，在$\mathcal{J}$中存在一个唯一的固定点$J_{\pi }$，从而
$$J_{\pi }={\Pi }_{\Phi }{\mathrm{T}}_{\pi }{\tilde{J}}_{\pi }.$$

由于$h\mapsto \Phi h$是单射的，因此存在一个唯一的$h_{\pi }\in {\mathbb{R}}^m$，这样$\Phi h_{\pi }={\Pi }_{\Phi }{\mathrm{T}}_{\pi }\left(\Phi h_{\pi }\right)$。这简单地导致了另一个流行的目标函数，即均方投影贝尔曼误差（Mean Squared Projected Bellman Error， MSPBE）。

$$\underset{h\in {\mathbb{R}}^m}{\min }{\Vert \Phi h-{\Pi }_{\Phi }{\mathrm{T}}_{\pi }(\Phi h)\Vert }_{\xi }\text{\hspace{1em}(8.49)}$$

在下文中，我们描述了最小化MSPBE fucntion的误差界限。

Proposition 8.7.

给定一个无限范围的$MDP\{\mathcal{X},\mathcal{U},p,g,\gamma \}$，和一个固定的策略$\pi$， 让$h_{\pi }$满足$\Phi h_{\pi }={\Pi }_{\Phi }{\mathrm{T}}_{\pi }\left(\Phi h_{\pi }\right)$。 那么我们有
$${\Vert J^{\pi }-{\Phi }^{\top }{h}_{\pi }\Vert }_{\xi }\le \frac{1}{\sqrt{1-{\gamma }^2}}{\Vert J^{\pi }-{\Pi }_{\Phi }{J}^{\pi }\Vert }_{\xi }\text{\hspace{1em}(8.50)}$$

---

Proof.
简单地说，我们有

$$\begin{array}{rl}{\Vert J^{\pi }-{\Phi }^{\top }{h}_{\pi }\Vert }_{\xi }^2& ={\Vert J^{\pi }-{\Pi }_{\Phi }{J}^{\pi }\Vert }_{\xi }^2+{\Vert {\Pi }_{\Phi }{J}^{\pi }-{\Phi }^{\top }{h}_{\pi }\Vert }_{\xi }^2\\ & ={\Vert J^{\pi }-{\Pi }_{\Phi }{J}^{\pi }\Vert }_{\xi }^2+{\Vert {\Pi }_{\Phi }{\mathrm{T}}_{\pi }{J}^{\pi }-{\Pi }_{\Phi }{\mathrm{T}}_{\pi }\left({\Phi }^{\top }{h}_{\pi }\right)\Vert }_{\xi }^2\\ & \le {\Vert J^{\pi }-{\Pi }_{\Phi }{J}^{\pi }\Vert }_{\xi }^2+{\gamma }^2{\Vert J^{\pi }-{\Phi }^{\top }{h}_{\pi }\Vert }_{\xi }^2\end{array}\text{\hspace{1em}(8.51)}$$

其中第一个等式由勾股定理产生，第二个等式由构造产生，而这个不等式是由于${\Pi }_{\Phi }{\mathrm{T}}_{\pi }$的收缩特性造成的。

---

当真正的总成本函数$J^{\pi }$不在线性函数近似空间内时，即${\Vert J^{\pi }-{\Pi }_{\Phi }{J}^{\pi }\Vert }_{\xi }\ne 0$，那么${\Vert J^{\pi }-{\Phi }^{\top }{h}_{\pi }\Vert }_{\xi }$的误差就会被严重约束，如果$\gamma$接近于1。因此，确保总成本函数位于线性总成本函数近似空间$\mathcal{J}$至关重要，即$J^{\pi }\in {\mathcal{J}}_l$。

由于MSBE函数和MSPBE函数都是凸的，这两个函数都能保证全局最小值。因此，研究这两个问题的解决方案的性能是有价值的。为此，我们将误差界线的差异定义为

$$l(\gamma ):=\frac{1+\gamma }{1-\gamma }-\frac{1}{\sqrt{1-{\gamma }^2}}\text{\hspace{1em}(8.52)}$$

很明显，$l(0)=0$。现在我们取$l$的导数为

$$l^{\prime }(\gamma )=\frac{2}{(1-\gamma {)}^2}+\frac{\gamma }{{\left(\sqrt{1-{\gamma }^2}\right)}^3}\text{\hspace{1em}(8.53)}$$

其值对于$\gamma \in [0,1]$来说总是正的。这一事实意味着差分函数$l$的函数值从0到1单调地增加。图15中的评价清楚地描述了当$\gamma$接近于1时，MSBE最小化和MSPBE最小化的误差界限之差会变成无穷大。换句话说，最小化MSPBE函数比MSBE函数更有优势。

图15：MSBE最小化和MSPBE最小化的误差界限商。

8.4 API 补充

8.4.1 Approximate PI (API)

• 我们将展示三种不同的APE方法：$el{l}_2$ MSBE、具有各态历经性的MSBE、具有各态历经性的MSPBE。
• 在E-Bus例子下，在策略改进步骤中没有近似方法。
• 深度强化学习中的策略网络：近似的策略改进。

8.4.2 APE via Bellman Residual Minimisation

• In Policy Iteration, Policy Evaluation (PE) via $T_{\pi }$ leads to a fixed point $J^{\pi }$ . (Quiz 2)
• In Approximate PE, there is a Bellman error since we restrict $J$ in a subspace $\left({\Phi }^{\top }h\right)$ if we apply Linear Function Approximation (LFA).

8.4.3 ${\ell }_2$ Based Bellman Residual Minimisation

• What is the difference between $\Vert \cdot {\Vert }_2^2$ and $\Vert \cdot {\Vert }_2$ ?
• $\Vert x{\Vert }_2^2=x^{\top }x,\Vert x{\Vert }_2=\sqrt{x^{\top }x}\left(x\in {\mathbb{R}}^n\right)$ .
• Both forms are strict convex, they have the same global minima. We did not make a strict distinction between these two terms since we only focus on the analytical solution.
• Quite different in numerical calculations, e.g., gradient.
• In this exercise, we keep using $\Vert \cdot {\Vert }_2^2$ , which is also more consistent with the name ‘Squared’ BE.

8.4.4 Recap: Closed form policy evaluation

Preliminaries: matrix derivation

• Matrix calculus
• Layout conventions: given $y\in {\mathbb{R}}^m,x\in {\mathbb{R}}^n$ .
  Numerator-layout:

$$\begin{array}{l}\text{ Numerator-layout: }\\ \frac{\partial y}{\partial x}:=\left[\begin{array}{ccc}\frac{\partial y_1}{\partial x_1}& \dots & \frac{\partial y_1}{\partial x_n}\\ & \ddots & \\ \frac{\partial y_m}{\partial x_1}& \dots & \frac{\partial y_m}{\partial x_n}\end{array}\right]\in {\mathbb{R}}^{m\times n},\frac{\partial y}{\partial x}:=\left[\begin{array}{ccc}\frac{\partial y_1}{\partial x_1}& \dots & \frac{\partial y_m}{\partial x_1}\\ & \ddots & \\ \frac{\partial y_1}{\partial x_n}& \dots & \frac{\partial y_m}{\partial x_n}\end{array}\right]\in {\mathbb{R}}^{n\times m},\end{array}$$

• This exercise follows denominator layout convention.
• This exercise has two kinds of matrix derivation:
• The derivative of a scalar y by a vector x : gradient (vector)
• The derivative of a vector y by a vector x : Jaccobian (matrix)

8.4.5 ${\ell }_2$ Based Bellman Residual Minimisation

• ${\ell }_2$ least square function:

$$\begin{array}{rl}{J}_2^{\pi }\in \underset{J\in \mathcal{J}}{\mathrm{argmin}}& {\Vert {\mathrm{T}}_{\pi }J-J\Vert }_2^2,\text{ where }J={\Phi }^{\top }h.\\ {\Vert {\mathrm{T}}_{\pi }J-J\Vert }_2^2& ={\Vert J-{\mathrm{T}}_{\pi }J\Vert }_2^2={\Vert J-G_{\pi }-\gamma P_{\pi }J\Vert }_2^2\\ & ={\Vert \left(I_K-\gamma P_{\pi }\right){\Phi }^{\top }h-G_{\pi }\Vert }_2^2\end{array}$$

• Let $W_{\pi }=\left(I_K-\gamma P_{\pi }\right){\Phi }^{\top }\in {\mathbb{R}}^{K\times m}$ , we have

$$\begin{array}{rl}{\Vert {\mathrm{T}}_{\pi }J-J\Vert }_2^2& ={\Vert W_{\pi }h-G_{\pi }\Vert }_2^2\\ & ={\left(W_{\pi }h-G_{\pi }\right)}^{\mathrm{T}}\left(W_{\pi }h-G_{\pi }\right)\end{array}$$

• Since the least square function is convex, we can get the minima when the derivation equals to zero.

• Let $\mathbf{u}=W_{\pi }h-G_{\pi }\in {\mathbb{R}}^{K\times 1}$ , we can get
  $$\frac{\partial {\mathbf{u}}^{\top }\mathbf{u}}{\partial \mathbf{u}}=2\mathbf{u},\frac{\partial {\mathbf{u}}^{\top }\mathbf{u}}{\partial h}=2\frac{\partial \mathbf{u}}{\partial h}\mathbf{u},where\frac{\partial \mathbf{u}}{\partial h}=W_{\pi }^{\top }\text{(denominator layout)}$$

$$\begin{array}{rl}\frac{\partial {\left(W_{\pi }h-G_{\pi }\right)}^{\top }\left(W_{\pi }h-G_{\pi }\right)}{\partial h}& =2W_{\pi }^{\top }\left(W_{\pi }h-G_{\pi }\right)=0\in {\mathbb{R}}^{m\times 1}\\ \Rightarrow W_{\pi }^{\top }{W}_{\pi }h-W_{\pi }^{\top }{G}_{\pi }& =0\\ W_{\pi }^{\top }{W}_{\pi }h& =W_{\pi }^{\top }{G}_{\pi }\end{array}$$

• $W_{\pi }^{\top }$ is not a square matrix (non-invertable), so we move $\left(W_{\pi }^{\top }{W}_{\pi }\right)\in {\mathbb{R}}^{m\times m}$ to the RHS:

$$\begin{array}{c}h={\left(W_{\pi }^{\top }{W}_{\pi }\right)}^{-1}{W}_{\pi }^{\top }{G}_{\pi }\\ J_2^{\pi }={\Phi }^{\top }h={\Phi }^{\top }{\left(W_{\pi }^{\top }{W}_{\pi }\right)}^{-1}{W}_{\pi }^{\top }\end{array}$$