【统计强化学习】MDP上的规划

本系列文章主要参考UIUC姜楠老师开设的cs542

规划（Planning）问题是基于给定的已知的 MDP $M=(\mathcal{S},\mathcal{A},P,R,\gamma )$，计算最优策略 ${\pi }_M^{\ast }$，这里讨论 $Q^{\ast }$ 的计算。本章将介绍用来求解规划问题的策略迭代算法、值迭代算法、以及线性规划算法。

策略迭代

策略迭代算法为从任意初始策略 ${\pi }_0$ 开始，不断重复下述步骤：
$${\pi }_k={\pi }_{Q^{{\pi }_{k-1}}}$$

即在每次迭代中，先进行策略评估，即基于公式 $V^{\pi }=({\mathbf{I}}_{|\mathcal{S}|}-\gamma P^{\pi }{)}^{-1}{R}^{\pi }$ 计算策略 ${\pi }_{k-1}$ 下的动作值函数，更一般地，是使用贝尔曼算子不断更新当前的动作值函数，直至收敛到不动点，并使用这个不动点来作为当前策略对应的动作值函数，即 ${\lim }_{N\to \infty }({\mathcal{T}}^{\pi }{)}^{N}V=V^{\pi }$；然后进行策略改进，即基于公式 $\pi (s)=\arg {\max }_{a\in \mathcal{A}}Q(s,a)$ 计算该动作值函数下的策略。

首先介绍策略改进定理（Policy improvement theorem），以证明策略迭代算法的收敛性：在策略迭代算法中，对于所有 $k\ge 1$ 以及 $s\in \mathcal{S}$，$a\in \mathcal{A}$，都有 $V^{{\pi }_k}(s)\ge V^{{\pi }_{k-1}}(s)$ 成立，并且直至 ${\pi }^{\ast }$ 被找到之前，每次迭代中都能保证有至少一个状态是严格大于的。

因此，策略迭代算法的终止条件为 $Q^{{\pi }_k}=Q^{{\pi }_{k-1}}$。另外，可以证明策略迭代算法最多只需要迭代 $|\mathcal{A}{|}^{|\mathcal{S}|}$ 次：若前一次迭代的策略和后一次迭代的策略一样，那么迭代收敛，最优策略被找到；由于每次迭代值函数都不会变得更差，因此当前迭代中获取的策略与之前迭代过程中得到的策略都不同；因此，策略空间的大小即为最坏情况下的策略迭代算法收敛所需要的迭代次数。

下面将从两个角度来证明策略改进定理。对于第一个角度，这里先引入优势这个概念：给定策略 $\pi$，在状态 $s$ 下动作 $a$ 的优势定义为 $A^{\pi }(s,a):=Q^{\pi }(s,a)-V^{\pi }(s)$。因此策略 ${\pi }^{\prime }$ 相比于策略 $\pi$ 的优势为 $A^{\pi }(s,{\pi }^{\prime }):=A^{\pi }(s,{\pi }^{\prime }(s))$。另外，优势函数还有一个性质是 $A^{\pi }(s,\pi (s))=0$。由于策略改进过程是将当前的动作值函数中值最大的动作来更新策略，所以迭代后策略相比于迭代前策略的优势函数是非负的。另一方面，由于迭代前后的策略值函数的差异可以通过优势函数线性组合表示，因此 $V^{{\pi }_k}(s)-V^{{\pi }_{k-1}}(s)$ 就可以被分解成多个非负项之和，即策略迭代过程中值函数是只增不减的，从而证明了策略改进定理。下面证明值函数的差异能够用优势函数线性组合来表示。

这里引入引理 Performance Difference Lemma：对于任意 $\pi$ 和 ${\pi }^{\prime }$，以及任意状态 $s\in \mathcal{S}$，有：
$$V^{{\pi }^{\prime }}(s)-V^{\pi }(s)=\frac{1}{1-\gamma }{\mathbb{E}}_{s^{\prime }\sim d^{{\pi }^{\prime },s}}[A^{\pi }(s^{\prime },{\pi }^{\prime })]$$

其中 $d^{{\pi }^{\prime },s}$ 表示给定策略 ${\pi }^{\prime }$ 以及初始状态 $s$ 下的 normalized discounted state occupancy。证明该引理的过程如下。考虑一个策略序列 $\{{\pi }_i{\}}_{i\ge 0}$，对于任意 $i$，${\pi }_i$ 表示在前 $i$ 个时间步按策略 ${\pi }^{\prime }$ 选择动作，之后就按策略 $\pi$ 选择动作。有 ${\pi }_0=\pi$，${\pi }_{\infty }={\pi }^{\prime }$。则上式可写成：
$$V^{{\pi }^{\prime }}(s)-V^{\pi }(s)=\sum _{i=0}^{\infty }(V^{{\pi }_{i+1}}(s)-V^{{\pi }_i}(s))$$

此时，对于右式中的每一项，${\pi }_i$ 和 ${\pi }_{i+1}$ 的前 $i$ 步都是按策略 ${\pi }^{\prime }$ 选择动作，所以在两个策略下轨迹的前 $i+1$ 步的状态都是一致的，在 $i+1$ 步的状态上才选择不同的动作，而此时不同的动作就导致后续转移到的状态的概率分布发生变化，因此有以下推导：
$$V^{{\pi }_{i+1}}(s)-V^{{\pi }_i}(s)={\gamma }^i\sum _{s^{\prime }}\mathbb{P}[s_{i+1}=s^{\prime }|s_i=s,{\pi }^{\prime }](Q^{\pi }(s^{\prime },{\pi }^{\prime })-Q^{\pi }(s^{\prime },\pi ))$$

由于前 $i$ 步的状态相同，所以可以消掉轨迹的前 $i$ 步计算。而由于第 $i+1$ 步策略开始变化，所以将 $s_{i+1}$ 记为 $s^{\prime }$，计算此步下不同状态转移情况的值。另外，由于此处离起始状态 $s$ 相隔 $i+1$ 步，所以此处的值需要乘上 ${\gamma }^i$ 的折扣。遍历 $i+1$ 步下的所有状态 $s^{\prime }$，到达每个 $s^{\prime }$ 的概率为 $\mathbb{P}[s_{i+1}=s^{\prime }|s_i=s,{\pi }^{\prime }]$，对于 ${\pi }_{i+1}$，在 $i+1$ 步下仍会根据 ${\pi }^{\prime }$ 选择动作，所以后续轨迹的值为 $Q^{\pi }(s^{\prime },{\pi }^{\prime })$，表示在 $s^{\prime }$ 下根据 ${\pi }^{\prime }$ 执行动作，但是后续会根据 $\pi$ 执行，所以后续的值可用 $Q^{\pi }$ 计算；同理，对于 ${\pi }_i$，在 $i+1$ 步下就转为根据 $\pi$ 选择动作，所以可直接用 $Q^{\pi }(s^{\prime },\pi )$ 表示轨迹后续的值。因此代入上式，得：
$$\begin{array}{rl}& \\ V^{{\pi }^{\prime }}(s)-V^{\pi }(s)& =\sum _{i=0}^{\infty }{\gamma }^i\sum _{s^{\prime }\in \mathcal{S}}\mathbb{P}[s_{i+1}=s^{\prime }|s_1=s,{\pi }^{\prime }](Q^{\pi }(s^{\prime },{\pi }^{\prime })-Q^{\pi }(s^{\prime },\pi ))\\ & =\sum _{i=0}^{\infty }{\gamma }^i\sum _{s^{\prime }\in \mathcal{S}}\mathbb{P}[s_{i+1}=s^{\prime }|s_1=s,{\pi }^{\prime }](Q^{\pi }(s^{\prime },{\pi }^{\prime })-V^{\pi }(s^{\prime }))\\ & =\sum _{i=0}^{\infty }{\gamma }^i\sum _{s^{\prime }\in \mathcal{S}}\mathbb{P}[s_{i+1}=s^{\prime }|s_1=s,{\pi }^{\prime }]A^{\pi }(s^{\prime },{\pi }^{\prime })\end{array}$$

最后，由 normalized discounted state occupancy 定义有：
$$\sum _{i=0}^{\infty }{\gamma }^i\mathbb{P}[s_{i+1}=s^{\prime }|s_1=s,{\pi }^{\prime }]=\frac{1}{1-\gamma }{d}^{{\pi }^{\prime },s}(s^{\prime })$$

此时即可证明引理 Performance Difference Lemma 成立。

基于该引理，令 ${\pi }^{\prime }={\pi }_{k+1}$，$\pi ={\pi }_k$，则由于 $A^{{\pi }_k}(s,{\pi }_{k+1})$ 非负（因为 ${\pi }_{k+1}$ 是选择 $Q^{{\pi }_k}$ 最大的动作），所以 $V^{{\pi }_{k+1}}\ge V^{{\pi }_k}$ 成立。同时，由于 $A^{{\pi }_k}(s,{\pi }_{k+1})$ 必定会在某些状态下严格大于 0，否则则表示 ${\pi }_k={\pi }^{\ast }$。因此即可证明策略改进定理。

下面再从算子角度再次证明策略改进定理。首先，可知有 $Q^{{\pi }_k}={\mathcal{T}}^{{\pi }_k}{Q}^{{\pi }_k}$，${\mathcal{T}}^{\pi }Q\le {\mathcal{T}}^{\ast }Q$，以及 ${\mathcal{T}}^{\ast }{Q}^{{\pi }_k}={\mathcal{T}}^{{\pi }_{k+1}}{Q}^{{\pi }_k}$（由于基于当前动作值函数选择值最大的动作，即为下一个要更新的策略）。将上述结果拼起来，有：
$$Q^{{\pi }_k}={\mathcal{T}}^{{\pi }_k}{Q}^{{\pi }_k}\le {\mathcal{T}}^{\ast }{Q}^{{\pi }_k}={\mathcal{T}}^{{\pi }_{k+1}}{Q}^{{\pi }_k}$$

重复上述不等式，有：
$$Q^{{\pi }_k}\le {\mathcal{T}}^{{\pi }_{k+1}}{Q}^{{\pi }_k}\le {\mathcal{T}}^{{\pi }_{k+1}}({\mathcal{T}}^{{\pi }_{k+1}}{Q}^{{\pi }_k})\le \cdots \le ({\mathcal{T}}^{{\pi }_{k+1}}{)}^{\infty }{Q}^{{\pi }_k}=Q^{{\pi }_{k+1}}$$

至此，由于每次迭代策略会有所改进，并且策略空间大小确定，则表示策略迭代算法是收敛的。

接下来介绍关于策略迭代收敛速度的定理，以证明策略迭代算法是指数级收敛的，即：$\parallel Q^{\ast }-Q^{{\pi }_{k+1}}{\parallel }_{\infty }\le \gamma \parallel Q^{\ast }-Q^{{\pi }_k}{\parallel }_{\infty }$。

证明过程如下。首先证明两个性质：

• ${\mathcal{T}}^{\ast }{Q}^{{\pi }_k}\ge {\mathcal{T}}^{\pi }{Q}^{{\pi }_k}$，$\forall \pi ,s$；
• ${\mathcal{T}}^{\ast }{Q}^{{\pi }_k}\le Q^{{\pi }_{k+1}}$，$\forall s$。

首先对于第一个性质，由于贝尔曼最优算子是选择 $Q^{{\pi }_k}$ 最大的动作来更新，即 ${\pi }_{k+1}(s)=\arg {\max }_a{Q}^{{\pi }_k}(s,a)$，所以更新后的动作值函数必定比使用任意其他策略 $\pi$ 选择其他动作来更新得到的动作值函数要大。即：
$${\mathcal{T}}^{\ast }{Q}^{{\pi }_k}=r+\gamma {\mathbb{E}}_{s^{\prime }}[\underset{a^{\prime }}{\max }{Q}^{{\pi }_k}(s^{\prime },a^{\prime })]\ge r+\gamma {\mathbb{E}}_{s^{\prime }}[Q^{{\pi }_k}(s^{\prime },{\pi }_k(s^{\prime }))]={\mathcal{T}}^{\pi }{Q}^{{\pi }_k}$$

接着是第二个性质。大致上，不等式左边表示对当前动作值函数进行一次算子操作，而不等式右边表示对当前动作值函数进行多次算子操作，并且结果已经收敛到新策略的动作值函数。从这个角度理解，显然性质二成立。更严谨地，不等式左边由于是只使用算子计算一次，所以计算轨迹的动作值时表示第二步（因为第一步就是要求的动作）用策略 ${\pi }_{k+1}$ 选择动作获得的奖励，加上后续使用策略 ${\pi }_k$ 选择动作时轨迹的值，因此左式可表示为：
$$({\mathcal{T}}^{\ast }{Q}^{{\pi }_k})(s,a)=\mathbb{E}[\sum _{t=1}^{\infty }{\gamma }^{t-1}{r}_t|s_1=s,a_1=a,a_2\sim {\pi }_{k+1},a_{3:\infty }\sim {\pi }_k]$$

而右式则表示从第二步动作开始都按照策略 ${\pi }_{k+1}$ 选择动作，即：
$$Q^{{\pi }_{k+1}}(s,a)=\mathbb{E}[\sum _{t=1}^{\infty }{\gamma }^{t-1}{r}_t|s_1=s,a_1=a,a_2\sim {\pi }_{k+1},a_{3:\infty }\sim {\pi }_{k+1}]$$

由策略改进定理可知 $V^{{\pi }_{k+1}}\ge V^{{\pi }_k}$ 恒成立，因此右式较大。在证明两条性质后，有：
$$\begin{array}{rl}& \\ \parallel Q^{\ast }-Q^{{\pi }_{k+1}}{\parallel }_{\infty }& =\parallel (Q^{\ast }-{\mathcal{T}}^{\ast }{Q}^{{\pi }_k})+({\mathcal{T}}^{\ast }{Q}^{{\pi }_k}-Q^{{\pi }_{k+1}}){\parallel }_{\infty }\\ & \le \parallel Q^{\ast }-{\mathcal{T}}^{\ast }{Q}^{{\pi }_k}{\parallel }_{\infty }\\ & \le \parallel Q^{\ast }-{\mathcal{T}}^{{\pi }^{\ast }}{Q}^{{\pi }_k}{\parallel }_{\infty }\\ & \le \parallel {\mathcal{T}}^{{\pi }^{\ast }}{Q}^{\ast }-{\mathcal{T}}^{{\pi }^{\ast }}{Q}^{{\pi }_k}{\parallel }_{\infty }\\ & \le \gamma \parallel Q^{\ast }-Q^{{\pi }_k}{\parallel }_{\infty }\end{array}$$

其中，由性质二可知上式中的第二项小于等于零。而由性质一，可知对任意策略 $\pi$ 都有 ${\mathcal{T}}^{\ast }{Q}^{{\pi }_k}\ge {\mathcal{T}}^{\pi }{Q}^{{\pi }_k}$，因此有 ${\mathcal{T}}^{\ast }{Q}^{{\pi }_k}\ge {\mathcal{T}}^{{\pi }^{\ast }}{Q}^{{\pi }_k}$。最后，再由 $Q^{\ast }={\mathcal{T}}^{{\pi }^{\ast }}{Q}^{\ast }$，以及贝尔曼最优算子的 $\gamma$-压缩性质，则可证明每次迭代后动作值函数与最优动作值函数的距离都是呈指数级减小。

值迭代

不同于策略迭代算法需要不断重复策略评估和策略迭代两个步骤，值迭代算法只需要迭代计算一系列 $Q$ 函数来不断逼近 $Q^{\ast }$。令 $Q^0$ 为初始动作值函数（通常将其设为 $0_{|\mathcal{S}\times \mathcal{A}|}$）。值迭代算法为从 $Q^0$ 开始，不断重复下述步骤：
$$Q^h={\mathcal{T}}^{\ast }{Q}^{h-1}$$

这里先介绍一个引理：$\parallel V^{\ast }-V^{{\pi }_f}{\parallel }_{\infty }\le \frac{2\parallel f-Q^{\ast }{\parallel }_{\infty }}{1-\gamma }$。其中 $f$ 表示迭代过程中的动作值函数，该引理表明最优值函数和迭代过程中的（或次优策略的）值函数之间的 bound。证明过程如下：
$$\begin{array}{rl}& \\ V^{\ast }(s)-V^{{\pi }_f}(s)& =Q^{\ast }(s,{\pi }^{\ast }(s))-Q^{\ast }(s,{\pi }_f(s))+Q^{\ast }(s,{\pi }_f(s))-Q^{{\pi }_f}(s,{\pi }_f(s))\\ & \le Q^{\ast }(s,{\pi }^{\ast }(s))-f(s,{\pi }^{\ast }(s))+f(s,{\pi }_f(s))-Q^{\ast }(s,{\pi }_f(s))\\ & +\gamma {\mathbb{E}}_{s^{\prime }\sim P(s,{\pi }_f(s))}[V^{\ast }(s^{\prime })-V^{{\pi }_f}(s^{\prime })]\\ & \le 2\parallel f-Q^{\ast }{\parallel }_{\infty }+\gamma \parallel V^{\ast }-V^{{\pi }_f}{\parallel }_{\infty }\end{array}$$

其中，第一行为在中间增加和减去相同的两项 $Q^{\ast }(s,{\pi }_f(s))$。第二行中，由于 $f(s,{\pi }^{\ast }(s))$ 表示在当前动作值函数下按最优策略选择动作的值，而 $f(s,{\pi }_f(s))$ 表示在当前动作值函数下按当前策略选择动作的值，因为在当前动作值函数下按当前策略选择动作的值必定不小于按其他策略选择，所以有 $f(s,{\pi }_f(s))\ge f(s,{\pi }^{\ast }(s))$，加上 $-f(s,{\pi }^{\ast }(s))+f(s,{\pi }_f(s))$ 后式子放大了。第三行中，由于第一行的最后两项中的 $Q^{\ast }(s,{\pi }_f(s))$ 表示在 $Q^{\ast }$ 下按照策略 ${\pi }_f$ 选择一个动作，而 $Q^{{\pi }_f}(s,{\pi }_f(s))$ 表示在 $Q^{{\pi }_f}$ 下按照策略 ${\pi }_f$ 选择一个动作，因为两者在当前状态 $s$ 下都会选择同一个动作，得到相同的奖励，因此用贝尔曼方程展开后两项相减得 $\gamma {\mathbb{E}}_{s^{\prime }\sim P(s,{\pi }_f(s))}[V^{\ast }(s^{\prime })-V^{{\pi }_f}(s^{\prime })]$。最后一行中的第一项是由第二行转化而来，将第二行中的 $f-Q^{\ast }$ 看作是一个函数，因此第二行即可看作是将 ${\pi }_f(s)$ 作为动作输入该函数得到的值，减去将 ${\pi }^{\ast }(s)$ 作为动作输入该函数的值，而该函数上两点之间的差值可放大为函数上最大值的两倍，即 $2\parallel f-Q^{\ast }{\parallel }_{\infty }$。而最后一行中的第二项，可知最大值要比期望值要大，所以可得 $\gamma \parallel V^{\ast }-V^{{\pi }_f}{\parallel }_{\infty }$。至此，即可证明该引理。

基于该引理，下面证明值迭代算法的收敛性，具体证明在迭代足够多次数，如 $H$ 次后，$\parallel Q^H-Q^{\ast }{\parallel }_{\infty }$ 之间的 bound。这里从两个角度来证明。

首先从不动点的角度来证明。因为值迭代算法可以抽象成不断对动作值函数使用贝尔曼最优算子进行运算，因此值迭代算法可以看作是求解贝尔曼最优算子的不动点，即 $Q^{\ast }={\mathcal{T}}^{\ast }{Q}^{\ast }$。此前已经证明了贝尔曼最优算子在无穷范数下是 $\gamma$-压缩的。因此可知随着迭代次数 $h$ 增加，在无穷范数下 $Q^h$ 指数级接近 $Q^{\ast }$，即：
$$\parallel Q^h-Q^{\ast }{\parallel }_{\infty }=\parallel {\mathcal{T}}^{\ast }{Q}^{h-1}-{\mathcal{T}}^{\ast }{Q}^{\ast }{\parallel }_{\infty }\le \gamma \parallel Q^{h-1}-Q^{\ast }{\parallel }_{\infty }$$

可以轨迹的积累折扣奖励具有上界 $\frac{R_{\text{max}}}{1-\gamma }$，所以对于 $Q^0=0_{|\mathcal{S}\times \mathcal{A}|}$，有 $\parallel Q^0-Q^{\ast }{\parallel }_{\infty }\le \frac{R_{\text{max}}}{1-\gamma }$。在经过 $H$ 次迭代后，则有：
$$\parallel Q^H-Q^{\ast }{\parallel }_{\infty }\le {\gamma }^H\frac{R_{\text{max}}}{1-\gamma }$$

可知当迭代次数满足 $H\ge \frac{\log \frac{R_{\text{max}}}{ϵ(1-\gamma )}}{1-\gamma }$ 时，则可保证动作值函数是 $ϵ$-接近 $Q^{\ast }$ 的，证明如下：
$${\gamma }^H\frac{R_{\text{max}}}{1-\gamma }=(1-(1-\gamma ){)}^{\frac{1}{1-\gamma }\cdot H(1-\gamma )}\frac{R_{\text{max}}}{1-\gamma }\le (\frac{1}{e}{)}^{\log \frac{R_{\text{max}}}{ϵ(1-\gamma )}}\frac{R_{\text{max}}}{1-\gamma }=ϵ$$

其中，迭代次数 $H$ 满足的条件也被称为 effective horizon。这个 bound 通常被记为 $H=O(\frac{1}{1-\gamma })$，并且将 $O(\frac{1}{1-\gamma })$ 称为 horizon。Horizon 不仅可以用来表示迭代次数的 bound，还可以用来表示计算奖励的范围，即往前看多少步的奖励，因为每迭代一次，就相当于往前多看一步。

下面从另一个角度证明值迭代算法的收敛性。为了简洁起见，这里只证明不等式 $\parallel Q^H-Q^{\ast }{\parallel }_{\infty }\le {\gamma }^H\frac{R_{\text{max}}}{1-\gamma }$。首先区分两个概念：${\pi }^{\ast }$ 表示考虑无限步长远（即 infinite horizon）的情况下得到的最优策略，即考虑 ${\sum }_{t=1}^{\infty }{\gamma }^{t-1}{r}_t$；而 ${\pi }^{\ast ,H}$ 表示考虑有限步长远（即 finite horizon）的情况下得到的最优策略，即考虑 ${\sum }_{t=1}^H{\gamma }^{t-1}{r}_t$。此时，由于只考虑非负有界奖励，所以可知从 $H+1$ 步之后的奖励也都为非负的，所以有 $Q^{\ast ,H}\le Q^{\ast }$。同时，对于任意策略 $\pi$，可知有 $Q^{\pi ,H}\le Q^{\ast ,H}$，特别地，有 $Q^{{\pi }^{\ast },H}\le Q^{\ast ,H}$。表示在只考虑 $H$ 步长的最优值函数下，使用考虑无限步长时得到的策略获得的值会低一些。综合这两点性质，有：
$$0\le Q^{\ast }-Q^{\ast ,H}\le Q^{\ast }-Q^{{\pi }^{\ast },H}=Q^{{\pi }^{\ast }}-Q^{{\pi }^{\ast },H}$$

此时，有：
$$\begin{array}{rl}& \\ Q^{\ast }(s,a)-Q^{\ast ,H}(s,a)& \le Q^{{\pi }^{\ast }}(s,a)-Q^{{\pi }^{\ast },H}(s,a)\\ & =\mathbb{E}\left[(\sum _{t=1}^{\infty }{\gamma }^{t-1}{r}_t)-(\sum _{t=1}^H{\gamma }^{t-1}{r}_t)|s_1=s,a_1=a,{\pi }^{\ast }\right]\\ & =\mathbb{E}\left[(\sum _{t=H+1}^{\infty }{\gamma }^{t-1}{r}_t)|s_1=s,a_1=a,{\pi }^{\ast }\right]\\ & \le {\gamma }^H\cdot \mathbb{E}\left[\sum _{t=1}^{\infty }{\gamma }^{t-1}{R}_{\text{max}}\right]\\ & =\frac{{\gamma }^H{R}_{\text{max}}}{1-\gamma }\end{array}$$

至此，同样证明了值迭代算法的收敛性。

线性规划

最后再介绍将规划问题转换成线性规划问题，然后就可以使用现成的线性规划求解器来进行规划了。

线性规划的朴素形式为：
$$\begin{gathered} \underset{V\in {\mathbb{R}}^{\mathcal{S}}}{\min }{d}_0^{\top }V \\ \text{s.t. }V\ge {\mathcal{T}}^{\ast }V \end{gathered}$$

其中， $d_0^{\top }\in {\mathbb{R}}^{\mathcal{S}}$ 表示初始状态分布，有 $d_0(s)\ge 0$，${\sum }_s{d}_0(s)=1$。要理解上式，首先推导问题约束的性质。首先对于贝尔曼最优算子，在任意 $V\ge V^{\prime }$ 下，都有 ${\mathcal{T}}^{\ast }V\ge {\mathcal{T}}^{\ast }{V}^{\prime }$（虽然因为贝尔曼算子只是选择动作最大的值来更新，但是 $V$ 的所有状态的值都大于 $V^{\prime }$）。因此，若有 $V\ge {\mathcal{T}}^{\ast }V$，则 ${\mathcal{T}}^{\ast }V\ge {\mathcal{T}}^{\ast }({\mathcal{T}}^{\ast }V)=({\mathcal{T}}^{\ast }{)}^{2}V$。显然迭代下去就有 $V\ge ({\mathcal{T}}^{\ast }{)}^{\infty }V=V^{\ast }$。所以，当问题解满足约束时，其中最小的解就是最优值函数，即要求 min 而非 max。另外，可知贝尔曼最优算子并非线性操作，即对于任意 $s\in \mathcal{S}$：
$$V(s)\ge \underset{a\in \mathcal{A}}{\max }(R(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim P(s,a)}[V(s^{\prime })])$$

是非线性的。因此，需要先改成线性约束，加入对每个动作的约束，即：
$$V(s)\ge R(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim P(s,a)}[V(s^{\prime })],\forall a\in \mathcal{A}$$

此时，约束的数量就从 $|\mathcal{S}|$ 变为 $|\mathcal{S}\times \mathcal{A}|$。

下面再给出该线性规划问题的对偶形式：
$$\begin{gathered} \underset{d\in {\mathbb{R}}^{\mathcal{S}\times \mathcal{A}},d\ge 0}{\max }{d}^{\top }R \\ \text{s.t. }[\sum _{a\in \mathcal{A}}d(s,a){]}_{s\in \mathcal{S}}=\gamma P^{\top }d+(1-\gamma )d_0 \end{gathered}$$

上一个线性规划问题中求解的是最优值函数，以此来获得最优策略。而在这个表述中，要求解的是 discounted state-action occupancy，并且其起始状态分布为 $d_0$。跟第一种线性规划问题表述一样，$d^{\top }R$ 内积也表示折扣积累奖励，而这里采用的是最大化这个折扣积累奖励。对于约束的理解，首先这里用 $d=d^{\pi }$ 来表示 state-action occupancy，并用 ${\tilde{d}}^{\pi }$ 来表示 state occupancy，有 $\pi :[{\sum }_{a\in \mathcal{A}}{d}^{\pi }(s,a){]}_{s\in \mathcal{S}}={\tilde{d}}^{\pi }$。对于约束中的右式，$P\in {\mathbb{R}}^{|\mathcal{S}\times \mathcal{A}|\times |\mathcal{S}|}$ 为状态转移矩阵，对于任意状态-动作对分布 $q\in \Delta (\mathcal{S}\times \mathcal{A})$，$P^{\top }q$ 表示：
$$s^{\prime }\sim P^{\top }q\iff (s,a)\sim q,s^{\prime }\sim P(\cdot |s,a)$$

即将 $q$ 的状态-动作分布经过状态转移矩阵往前走一步。因此，有 $P^{\top }{d}_t^{\pi }={\tilde{d}}_{t+1}^{\pi }$。所以线性规划问题的解需要满足一下约束：
$$\begin{array}{rl}& \\ \gamma P^{\top }d& =\gamma (1-\gamma )P^{\top }\sum _{t=1}^{\infty }{\gamma }^{t-1}{d}_t^{\pi }\\ & =\gamma (1-\gamma )\sum _{t=1}^{\infty }{\gamma }^{t-1}{P}^{\top }{d}_t^{\pi }\\ & =\gamma (1-\gamma )\sum _{t=1}^{\infty }{\gamma }^{t-1}{\tilde{d}}_{t+1}^{\pi }\\ & =(1-\gamma )\sum _{t=2}^{\infty }{\gamma }^{t-1}{\tilde{d}}_t^{\pi }\\ & =(1-\gamma )\sum _{t=1}^{\infty }{\gamma }^{t-1}{\tilde{d}}_t^{\pi }-(1-\gamma )d_0\\ & ={\tilde{d}}^{\pi }-(1-\gamma )d_0\end{array}$$

最后，在求解到 $d$ 后，最优策略为：
$$\pi (a|s)=\frac{d(s,a)}{{\sum }_{a^{\prime }\in \mathcal{A}}d(s,a^{\prime })}$$