每天一个RL基础理论(2)——VI&PI

• 搬砖来源：https://wensun.github.io/CS6789_fall_2021.html
• 主题：Planning in MDP
• setting：infinite horizon discounted MDP
• 解决的问题：给定$\mathcal{M}=(S,A,P,r,\gamma )$，其中转移矩阵$P$已知，怎么找到最优策略${\pi }^{\star }$(deterministic & stationary)？
• 使用的理论工具：Bellman Optimality

简要回顾Bellman Optimality：

1. 性质一：在上述setting下，存在一个deterministic & stationary 的最优策略${\pi }^{\star }$，其value function满足：
   $$\begin{gathered} V^{\star }(s)=\underset{a}{\max }\left[r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim P(\cdot \mid s,a)}[V^{\star }(s^{\prime })]\right] \\ {Q}^{\star }(s,a)=r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot |s,a)}\left[\underset{a^{\prime }}{\max }{Q}^{\star }(s^{\prime },a^{\prime })\right] \end{gathered}$$
2. 性质二：
   • (V-version)对于任意的价值函数$V$，如果其满足$V(s)={\max }_a\left[r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim P(\cdot |s,a)}V(s^{\prime })\right],\forall s$，则有：
     $$V(s)=V^{\star }(s)$$
   • (Q-version)对于任意的Q值函数$Q$，如果其满足$Q(s,a)=r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot |s,a)}\left[{\max }_{a^{\prime }}Q(s^{\prime },a^{\prime })\right],\forall s$，则有：
     $$Q(s,a)=Q^{\star }(s,a)$$

一、Value Iteration

1.1 VI

VI算法：

1. 初始化Q值函数$Q_0:||Q_0|{|}_{\infty }\in (0,\frac{1}{1-\gamma })$
2. 迭代直到收敛：$Q_{n+1}(s,a)=r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}[{\max }_{a^{\prime }}{Q}_n(s^{\prime },a^{\prime })]\forall s,a\in S\times A$

1.2 VI的收敛证明

• 目的：找到${\pi }^{\star }$
• 分析：
  1. 由Bellman Optimality性质一的证明，有${\pi }^{\star }=\underset{a}{\mathrm{argmax}}{Q}^{\star }(s,a)$，所以只要知道$Q^{\star }$，便能得到${\pi }^{\star }$
  2. 由Bellman Optimality性质二，只要现有的Q满足$Q(s,a)=r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot |s,a)}\left[{\max }_{a^{\prime }}Q(s^{\prime },a^{\prime })\right],\forall s$，便能得到$Q^{\star }$
  3. 定义Bellman Optimality Operator $\mathcal{B}$，$\mathcal{B}Q(s,a)=r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}[{\max }_{a^{\prime }}Q(s^{\prime },a^{\prime })]$，所以只要现有的Q满足$\mathcal{B}Q=Q$即可
  4. 考虑不动点理论，即找$f(x)=x$的不动点x，从$x_0,x_1=f(x_0),x_2=ff(x_0),...,x_n=\underset{n}{f...f}(x_0)$，在$f$满足什么性质时，经过足够多次$f$的映射，初始点$x_0$能被映射到$x^{\star }$使得$x^{\star }=f(x^{\star })$
     $$\begin{array}{rl}|x_n-x^{\star }|& =|f(x_{n-1})-f(x^{\star })|\\ & \le L|x_{n-1}-x^{\star }|\\ & ...\\ & \le L^n|x_0-x^{\star }|\end{array}$$只要$L<1$即可，本质为莱布尼茨常数
  5. 所以Bellman Optimality Operator $\mathcal{B}$满足这个性质吗？以下证明这点（需要把不动点理论的x换成函数Q，因此需要引入函数Q的度量$||\cdot |{|}_{\infty }$)
• VI证明1：对于任意的$Q,Q^{\prime }$，有$||\mathcal{B}Q(s,a)-\mathcal{B}{Q}^{\prime }(s,a)|{|}_{\infty }\le \gamma ||Q(s,a)-Q^{\prime }(s,a)|{|}_{\infty }$
  $$\begin{array}{rl}||\mathcal{B}Q(s,a)-\mathcal{B}{Q}^{\prime }(s,a)|{|}_{\infty }& ={\left|r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}[\underset{a^{\prime }}{\max }Q(s^{\prime },a^{\prime })]-\left(r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}[\underset{a^{\prime }}{\max }{Q}^{\prime }(s^{\prime },a^{\prime })]\right)\right|}_{\infty }\\ & =\gamma {\left|{\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}[\underset{a^{\prime }}{\max }Q(s^{\prime },a^{\prime })]-{\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}[\underset{a^{\prime }}{\max }{Q}^{\prime }(s^{\prime },a^{\prime })]\right|}_{\infty }\\ & \le \gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}{\left|\underset{a^{\prime }}{\max }Q(s^{\prime },a^{\prime })-\underset{a^{\prime }}{\max }{Q}^{\prime }(s^{\prime },a^{\prime })\right|}_{\infty }\\ & \le \gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}\underset{a^{\prime }}{\max }{\left|Q(s^{\prime },a^{\prime })-Q^{\prime }(s^{\prime },a^{\prime })\right|}_{\infty }\text{（期望<=最大值点）}\\ & \le \gamma \underset{s^{\prime }}{\max }\underset{a^{\prime }}{\max }{\left|Q(s^{\prime },a^{\prime })-Q^{\prime }(s^{\prime },a^{\prime })\right|}_{\infty }\\ & =\gamma ||Q(s,a)-Q^{\prime }(s,a)|{|}_{\infty }\end{array}$$
• VI收敛性证明：经过足够多次的Bellman operator $\mathcal{B}$，任意初始化的函数$Q_0$能收敛到$Q^{\star }$
  $$||Q_n-Q^{\star }|{|}_{\infty }=||\mathcal{B}{Q}_{n-1}-\mathcal{B}{Q}^{\star }||\le \gamma ||Q_{n-1}-Q^{\star }||\le \cdots \le {\gamma }^n||Q_0-Q^{\star }|{|}_{\infty }$$经过Bellman Operator迭代n次后的$Q_n$，离$Q^{\star }$的距离被$\gamma <1$的指数bound住，而$||Q_0-Q^{\star }|{|}_{\infty }$为一个常数，所以只要$n$足够大即可从任意初始化的$Q_0$得到$Q^{\star }$，optimal policy为 ${\pi }^{\star }=\underset{a}{\mathrm{argmax}}{Q}^{\star }(s,a)$

1.3 VI的定量分析

上述理论知道这么迭代Q是收敛的，而且收敛的速度定性分析是指数收敛${\gamma }^n$的，那如何知道定量的收敛速度？定的什么量？
定量分析回答如下问题：

1. 迭代n步后$Q_n$所对应的策略${\pi }_n$，离最优策略${\pi }^{\star }$有多远？
2. 如果只需要最优策略所对应性能的95%，那要迭代多少步？

---

小知识：衡量一个策略${\pi }^{\prime }$的“性能(performance)”，使用的是其所对应的价值函数即$V^{{\pi }^{\prime }}(s)$
因为目标${\mathbb{E}}_{s_0,a\sim {\pi }^{\prime },s\sim p}[{\sum }_{t=0}^{\infty }{\gamma }^{t}r(s,a)]$可表述为${\mathbb{E}}_{s_0}[V^{{\pi }^{\prime }}(s_0)]$，初始的状态分布$s_0$是可以指定的，因此策略性能就由优化目标所确定

VI定量的定理：
根据VI迭代了n次后得到$Q_n$，其策略${\pi }_n=\underset{a}{\mathrm{argmax}}{Q}_n(s,a)$有如下定理：
$$V^{{\pi }_n}(s)\ge V^{\star }(s)-\frac{2{\gamma }^n}{1-\gamma }||Q_0-Q^{\star }|{|}_{\infty }\forall s\in S$$

证明：

$$\begin{array}{rl}{V}^{{\pi }_n}(s)-V^{\star }(s)& =Q^{{\pi }_n}(s,{\pi }_n(s))-Q^{\star }(s,{\pi }^{\star }(s))\text{(deterministic policy)}\\ & =Q^{{\pi }_n}(s,{\pi }_n(s))-Q^{\star }(s,{\pi }_n(s))+Q^{\star }(s,{\pi }_n(s))-Q^{\star }(s,{\pi }^{\star }(s))\\ & =\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,{\pi }_n(s))}\left[V^{{\pi }_n}(s^{\prime })-V^{\star }(s^{\prime })\right]+Q^{\star }(s,{\pi }_n(s))-Q^{\star }(s,{\pi }^{\star }(s))\\ & =\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,{\pi }_n(s))}\left[V^{{\pi }_n}(s^{\prime })-V^{\star }(s^{\prime })\right]+Q^{\star }(s,{\pi }_n(s))-Q^{{\pi }_n}(s,{\pi }_n(s))+Q^{{\pi }_n}(s,{\pi }_n(s))-Q^{\star }(s,{\pi }^{\star }(s))\\ & \ge \gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,{\pi }_n(s))}\left[V^{{\pi }_n}(s^{\prime })-V^{\star }(s^{\prime })\right]+Q^{\star }(s,{\pi }_n(s))-Q^{{\pi }_n}(s,{\pi }_n(s))+Q^{{\pi }_n}(s,{\pi }^{\star }(s))-Q^{\star }(s,{\pi }^{\star }(s))\\ & =\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,{\pi }_n(s))}\left[V^{{\pi }_n}(s^{\prime })-V^{\star }(s^{\prime })\right]-(Q^{{\pi }_n}(s,{\pi }_n(s))-Q^{\star }(s,{\pi }_n(s)))+Q^{{\pi }_n}(s,{\pi }^{\star }(s))-Q^{\star }(s,{\pi }^{\star }(s))\\ & \ge \gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,{\pi }_n(s))}\left[V^{{\pi }_n}(s^{\prime })-V^{\star }(s^{\prime })\right]-2{\gamma }^n||Q_0-Q^{\star }|{|}_{\infty }\text{(利用VI收敛性质∣∣Qn−Q⋆∣∣∞≤γn∣∣Q0−Q⋆∣∣∞)}\\ & \ge \gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,{\pi }_n(s))}[\gamma {\mathbb{E}}_{s^{\prime \prime }\sim p(\cdot \mid s^{\prime },{\pi }_n(s^{\prime }))}\left[V^{{\pi }_n}(s^{\prime \prime })-V^{\star }(s^{\prime \prime })\right]-2{\gamma }^n||Q_0-Q^{\star }|{|}_{\infty }]-2{\gamma }^n||Q_0-Q^{\star }|{|}_{\infty }\text{(状态空间上套娃)}\\ & ={\gamma }^2{\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,{\pi }_n(s))}\left[{\mathbb{E}}_{s^{\prime \prime }\sim p(\cdot \mid s^{\prime },{\pi }_n(s^{\prime }))}\left[V^{{\pi }_n}(s^{\prime \prime })-V^{\star }(s^{\prime \prime })\right]\right]-2{\gamma }^n||Q_0-Q^{\star }|{|}_{\infty }-2{\gamma }^{n+1}||Q_0-Q^{\star }|{|}_{\infty }\\ & \ge \cdots \ge \text{(不断套娃)}\\ & =-2{\gamma }^n||Q_0-Q^{\star }|{|}_{\infty }-2{\gamma }^{n+1}||Q_0-Q^{\star }|{|}_{\infty }-\cdots -2{\gamma }^{\infty }||Q_0-Q^{\star }|{|}_{\infty }\\ & =-\frac{2{\gamma }^n}{1-\gamma }||Q_0-Q^{\star }|{|}_{\infty }\end{array}$$

二、Policy Iteration

2.1 PI

PI算法：

1. 初始化显式策略 ${\pi }_0$
2. (Policy Evaluation)评估当前策略：$Q^{{\pi }_n}(s,a)=(I-\gamma P^{{\pi }_n}{)}^{-1}r\forall s,a$
3. (Policy Improvement) 改进策略：${\pi }_{n+1}=\underset{a}{\mathrm{argmax}}{Q}^{{\pi }_n}(s,a)\forall s$

2.2 Policy Evaluation

1. 由Bellman consistency equation(Q-Q)有$Q^{{\pi }_n}(s,a)=r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a),a^{\prime }\sim {\pi }_n(\cdot \mid s^{\prime })}[Q^{{\pi }_n}(s,a)]$
2. 把$Q^{{\pi }_n}(s,a)$看成$R^{|S||A|\times 1}$的向量，$r(s,a)$看成$R^{|S||A|\times 1}$的向量，将$E_{s^{\prime }\sim p(\cdot \mid s,a),a^{\prime }\sim {\pi }_n(\cdot \mid s^{\prime })}$看成矩阵变换的操作$P^{{\pi }_n}\in R^{|S||A|\times |S|}$，如$P_{(s,a),(s^{\prime },a^{\prime })}^{\pi }=p(s^{\prime }|s,a)\pi (a^{\prime }|s^{\prime })$表示将具体值$(s,a)$变换到$(s^{\prime },a^{\prime })$的概率，所以Bellman consistency equation变为:$$Q^{{\pi }_n}=r+\gamma P^{{\pi }_n}{Q}^{{\pi }_n}$$
3. 于是PI算法的Policy Evaluation的closed-form形式为
   $$Q^{{\pi }_n}=(I-\gamma P^{{\pi }_n}{)}^{-1}r$$

（可逆证明在第三章补充）

2.3 Policy Improvement

1. 对于PI即${\pi }_{n+1}=\underset{a}{\mathrm{argmax}}{Q}^{{\pi }_n}(s,a)\forall s$，关键是说明改进后的策略${\pi }_{n+1}$真的比${\pi }_n$好！
2. （Monotonic Improvement) 只需证$Q^{{\pi }_{n+1}}(s,a)\ge Q^{{\pi }_n}(s,a)\forall s,a$

以下证明：$Q^{{\pi }_{n+1}}(s,a)\ge Q^{{\pi }_n}(s,a)\forall s,a$
$$\begin{array}{rl}{Q}^{{\pi }_{n+1}}(s,a)-Q^{{\pi }_n}(s,a)& =r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim p,a^{\prime }\sim {\pi }_{n+1}}[Q^{{\pi }_{n+1}}(s^{\prime },a^{\prime })]-r(s,a)-\gamma {\mathbb{E}}_{s^{\prime }\sim p,a^{\prime }\sim {\pi }_n}[Q^{{\pi }_n}(s^{\prime },a^{\prime })]\\ & =\gamma {\mathbb{E}}_{s^{\prime }\sim p}[Q^{{\pi }_{n+1}}(s^{\prime },{\pi }_{n+1}(s^{\prime }))-Q^{{\pi }_n}(s^{\prime },{\pi }_n(s^{\prime }))]\text{(deterministic policy)}\\ & =\gamma {\mathbb{E}}_{s^{\prime }\sim p}[Q^{{\pi }_{n+1}}(s^{\prime },{\pi }_{n+1}(s^{\prime }))-Q^{{\pi }_n}(s^{\prime },{\pi }_{n+1}(s^{\prime }))+\underset{\ge 0}{Q^{{\pi }_n}(s^{\prime },{\pi }_{n+1}(s^{\prime }))-Q^{{\pi }_n}(s^{\prime },{\pi }_n(s^{\prime }))}]\\ & \ge \gamma {\mathbb{E}}_{s^{\prime }\sim p}[Q^{{\pi }_{n+1}}(s^{\prime },{\pi }_{n+1}(s^{\prime }))-Q^{{\pi }_n}(s^{\prime },{\pi }_{n+1}(s^{\prime }))]\text{(开始在状态空间套娃)}\\ & \ge \gamma {\mathbb{E}}_{s^{\prime }\sim p}[\gamma {\mathbb{E}}_{s^{\prime \prime }\sim p}[Q^{{\pi }_{n+1}}(s^{\prime \prime },{\pi }_{n+1}(s^{\prime \prime }))-Q^{{\pi }_n}(s^{\prime \prime },{\pi }_{n+1}(s^{\prime \prime }))]]\\ & \ge \cdots \ge \\ & \ge {\gamma }^{\infty }=0\end{array}$$

(值得注意的是，这些推导证明也正说明了infinite horizon discounted的重要性即${\gamma }^{\infty }=0,\gamma <1$)

同理有：$V^{{\pi }_{n+1}}(s)\ge V^{{\pi }_n}(s)\forall s$
$$V^{{\pi }_{n+1}}(s)=Q^{{\pi }_{n+1}}(s,{\pi }_{n+1}(s))\ge Q^{{\pi }_n}(s,{\pi }_{n+1}(s))=\underset{a}{\max }{Q}^{{\pi }_n}(s,a)\ge Q^{{\pi }_n}(s,{\pi }_n(s))=V^{{\pi }_n}(s)$$

2.4 PI的收敛性分析

PE是评估策略，Policy Improvement确保了每次更新后的策略$Q^{{\pi }_{n+1}}(s,a)\ge Q^{{\pi }_n}(s,a)\forall s,a$确实是有改进的，接下来是说明PI确实是收敛的即${\pi }_n$在有限次迭代后能得到最优策略${\pi }^{\star }$

1. 已知${\pi }_{n+1}(s)=\underset{a}{\mathrm{argmax}}{Q}^{{\pi }_n}(s,a)\forall s$
2. 只需证$||V^{{\pi }_{n+1}}(s)-V^{\star }(s)|{|}_{\infty }\le \gamma ||V^{{\pi }_n}(s)-V^{\star }(s)|{|}_{\infty }$
3. 则有$||V^{{\pi }_{n+1}}(s)-V^{\star }(s)|{|}_{\infty }\le \gamma ||V^{{\pi }_n}(s)-V^{\star }(s)|{|}_{\infty }\le \cdots \le {\gamma }^n||V^{{\pi }_0}(s)-V^{\star }(s)|{|}_{\infty }$，保证收敛哦！

$$\begin{array}{rl}{V}^{\star }(s)-V^{{\pi }_{n+1}}(s)& =\underset{a}{\max }[r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}[V^{\star }(s^{\prime })]]-r(s,{\pi }_{n+1}(s))-\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,{\pi }_{n+1}(s))}[V^{{\pi }_{n+1}}(s^{\prime })]\\ & \le \underset{a}{\max }[r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}[V^{\star }(s^{\prime })]]-r(s,{\pi }_{n+1}(s))-\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,{\pi }_{n+1}(s))}[V^{{\pi }_n}(s^{\prime })]\text{(利用Vπn+1(s)≥Vπn(s))}\\ & =\underset{a}{\max }[r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}[V^{\star }(s^{\prime })]]-\underset{a}{\max }[r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}[V^{{\pi }_n}(s^{\prime })]]\text{(利用定义πn+1=aargmaxQπn(s,a))}\\ & \le \underset{a}{\max }\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}[V^{\star }(s^{\prime })-V^{{\pi }_n}(s^{\prime })]\\ & \le \gamma \underset{s^{\prime }}{\max }{V}^{\star }(s^{\prime })-V^{{\pi }_n}(s^{\prime })\text{(期望≤最大值点)}\\ & =\gamma ||V^{\star }(s)-V^{{\pi }_n}(s)|{|}_{\infty }\text{(∞−norm的定义)}\end{array}$$

推导中的第二步到第三步的解释${\pi }_{n+1}=\underset{a}{\mathrm{argmax}}{Q}^{{\pi }_n}(s,a)$ 意味着有$Q^{{\pi }_n}(s,{\pi }_{n+1}(s))={\max }_a{Q}^{{\pi }_n}(s,a)={\max }_a[r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}[V^{{\pi }_n}(s^{\prime })]]=r(s,{\pi }_{n+1}(s))+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,{\pi }_{n+1}(s))}[V^{{\pi }_n}(s^{\prime })]$
再细节一点，对所有s有$V^{\star }(s)-V^{{\pi }_{n+1}}(s)\le \gamma ||V^{\star }(s)-V^{{\pi }_n}(s)|{|}_{\infty }$，所以$||V^{\star }(s)-V^{{\pi }_{n+1}}(s)|{|}_{\infty }\le \gamma ||V^{\star }(s)-V^{{\pi }_n}(s)|{|}_{\infty }$

三、补充

3.1 PE的可逆证明

对于$\forall x\in {\mathbb{R}}^{|S||A|\times 1}\ne 0$，其中$P^{\pi }\in {\mathbb{R}}^{|S||A|\times |S||A|}$，$I$为单位矩阵，可逆证明如下：
$$\begin{array}{rl}||(I-\gamma P^{\pi })x|{|}_{\infty }& =||x-\gamma P^{\pi }x|{|}_{\infty }\\ & \ge ||x|{|}_{\infty }-||\gamma P^{\pi }x|{|}_{\infty }\text{(两者差的最大值>= 两者最大值之差)}\\ & \ge ||x|{|}_{\infty }-\gamma ||x|{|}_{\infty }\text{（Pπ转移矩阵的定义)}\\ & =(1-\gamma )||x|{|}_{\infty }>0\end{array}$$

因为对于所有的非0向量x，经过$(I-\gamma P^{\pi })$矩阵变换后均>0，故其满秩。

3.2 PE可逆证明的背后

3.2.1 $P^{\pi }$的理解

首先直观地解释下，为什么$Q^{\pi }(s,a)=r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a),a^{\prime }\sim \pi (\cdot \mid s^{\prime })}[Q^{\pi }(s,a)]$能写成$Q^{\pi }=r+\gamma P^{\pi }{Q}^{\pi }$的形式，$P^{\pi }$究竟是什么？

假设状态空间有m个离散值$\{s_1,s_2,...,s_m\}$，动作空间有n个离散值$\{a_1,a_2,...,a_n\}$，所以$P^{\pi }$维度为${\mathbb{R}}^{mn\times mn}$，$Q^{\pi }(s,a)$维度为${\mathbb{R}}^{mn}$

$Q^{\pi }(s,a)$代表的是所有下一状态动作对的Q值，而$P^{\pi }$比如第$mn$行的$ij$列，代表在当前策略$\pi$下，当前状态动作对$(s_m,a_n)$转移到下一状态动作对为$(s_i,a_j)$的概率为$p(s_i|s_m,a_n)\pi (a_j|s_i)$

3.2.2 $P^{\pi }$推出的常用引理

$$[(1-\gamma )(I-\gamma P^{\pi }{)}^{-1}{]}_{(s,a),(s^{\prime },a^{\prime })}=(1-\gamma )\sum _{h=0}^{\infty }{\gamma }^h{\mathbb{P}}^{\pi }(s_h=s^{\prime },a_h=a^{\prime }|s_0=s,a_0=a)$$

右边表示的是初始状态为$s_0,a_0$在策略$\pi$下访问到结果为$(s^{\prime },a^{\prime })$的概率
左边可根据$P^{\pi }$的定义展开求得
具体证明后续再补充

3.3 评估策略性能的通用公式

定义从初始状态为$s_0$，策略为$\pi$的轨迹访问到$(s,a)$的概率为$d_{s_0}^{\pi }(s,a)$，其为
$$d_{s_0}^{\pi }(s,a)=(1-\gamma )\sum _{h=0}^{\infty }{\gamma }^h{\mathbb{P}}^{\pi }(s_h=s,a_h=a|s_0)$$其中${\mathbb{P}}^{\pi }(s_h=s,a_h=a|s_0)$为从初始状态为$s_0$，策略为$\pi$的轨迹，在第h时刻访问到$(s,a)$的概率。

对于任意两个策略$\pi ,{\pi }^{\prime }$,，其性能差异可表示为：
$$V^{{\pi }^{\prime }}(s_0)-V^{\pi }(s_0)=\frac{1}{1-\gamma }{\mathbb{E}}_{s,a\sim d_{s_0}^{{\pi }^{\prime }}}[Q^{\pi }(s,a)-V^{\pi }(s)]=\frac{1}{1-\gamma }{\mathbb{E}}_{(s,a)\sim d_{s_0}^{{\pi }^{\prime }}(s,a)}[A^{\pi }(s,a)]$$

证明如下：(下面把$s$当作$s_0$，$s^{\prime }$当作s即可）
$$\begin{array}{rl}{V}^{{\pi }^{\prime }}(s)-V^{\pi }(s)& =\sum _a{\pi }^{\prime }(a\mid s)\cdot Q^{{\pi }^{\prime }}(s,a)-\sum _a\pi (a\mid s)\cdot Q^{\pi }(s,a)\\ & =\sum _a{\pi }^{\prime }(a\mid s)\cdot \left(Q^{{\pi }^{\prime }}(s,a)-Q^{\pi }(s,a)\right)+\sum _a\left({\pi }^{\prime }(a\mid s)-\pi (a\mid s)\right)\cdot Q^{\pi }(s,a)\\ & =\sum _a\left({\pi }^{\prime }(a\mid s)-\pi (a\mid s)\right)\cdot Q^{\pi }(s,a)+\gamma \sum _a{\pi }^{\prime }(a\mid s)\sum _{s^{\prime }}\mathcal{P}\left(s^{\prime }\mid s,a\right)\cdot \left[V^{{\pi }^{\prime }}\left(s^{\prime }\right)-V^{\pi }\left(s^{\prime }\right)\right]\\ & =\frac{1}{1-\gamma }\sum _{s^{\prime }}{d}_s^{{\pi }^{\prime }}\left(s^{\prime }\right)\sum _{a^{\prime }}\left({\pi }^{\prime }\left(a^{\prime }\mid s^{\prime }\right)-\pi \left(a^{\prime }\mid s^{\prime }\right)\right)\cdot Q^{\pi }\left(s^{\prime },a^{\prime }\right)\text{(开始在状态空间套娃)}\\ & =\frac{1}{1-\gamma }\sum _{s^{\prime }}{d}_s^{{\pi }^{\prime }}\left(s^{\prime }\right)\sum _{a^{\prime }}{\pi }^{\prime }\left(a^{\prime }\mid s^{\prime }\right)\cdot \left(Q^{\pi }\left(s^{\prime },a^{\prime }\right)-V^{\pi }\left(s^{\prime }\right)\right)\\ & =\frac{1}{1-\gamma }\sum _{s^{\prime }}{d}_s^{{\pi }^{\prime }}\left(s^{\prime }\right)\sum _{a^{\prime }}{\pi }^{\prime }\left(a^{\prime }\mid s^{\prime }\right)\cdot A^{\pi }\left(s^{\prime },a^{\prime }\right)\\ & =\frac{1}{1-\gamma }{\mathbb{E}}_{(s^{\prime },a^{\prime })\sim d_s^{{\pi }^{\prime }}(s^{\prime },a^{\prime })}{A}^{\pi }\left(s^{\prime },a^{\prime }\right)\end{array}$$

四、总结

1. 需要铭记于心的是，经典理论目前为止的推导与证明都是基于infinite horizon discounted MDP 下 存在一个deterministic & stationary的策略，而VI和PI则是两种帮我们找到最优策略${\pi }^{\star }$的两类方法
2. 在一个MDP都已知，即内部dynamics都清楚的情况下，VI可以帮助我们定性且定量地迭代一个Q函数，使用$\pi (s)=\underset{a}{\mathrm{argmax}}Q(s,a)$导出一个determinstic & stationary的策略
3. PI：显式建模策略——评估策略的Q函数——改进策略进行迭代，最后迭代收敛得到最优策略
4. VI：Q函数隐式建模策略——在Q空间上迭代直接找最优策略的$Q^{\star }$，最后通过${\pi }^{\star }(s)=\underset{a}{\mathrm{argmax}}{Q}^{\star }(s,a)$还原得到最优策略