马尔可夫决策过程(Markov Decision Process)学习笔记

马尔可夫决策过程(Markov Decision Process)学习笔记

1. 基本的概率定义

• 马尔可夫性质表示下一刻的状态只与当前时刻状态有关，其他的历史信息可以丢弃不用。因为该状态已经是未来的充分统计。
  $$P(s_{t+1}\mid s_t)=P(s_{t+1}\mid s_t,s_{t-1},\cdots ,s_0)$$

• 在给定前继状态和动作的值时，$s^{\prime },s\in \mathcal{S},r\in \mathcal{R}$，在t时刻发生这些值的概率，这定义了MDP环境的动态特性。
  $$p\left(s^{\prime },r\mid s,a\right)\doteq \mathrm{Pr}\left\{S_t=s^{\prime },R_t=r\mid S_{t-1}=s,A_{t-1}=a\right\}\text{\hspace{1em}(1)}$$
  其中：
  $$\sum _{s^{\prime }\in \mathcal{S}}\sum _{r\in \mathcal{R}}p\left(s^{\prime },r\mid s,a\right)=1,\text{ for all }s\in \mathcal{S},a\in \mathcal{A}(s)$$

• 状态转移概率，这是一个三参数函数$p:\mathcal{S}\times \mathcal{S}\times \mathcal{A}\to [0,1]$，这里面不包含受益$r$，注意和上面表达的区别和联系。
  $${\mathcal{P}}_{s{s}^{\prime }}^a\doteq p\left(s^{\prime }\mid s,a\right)\doteq \mathrm{Pr}\left\{S_t=s^{\prime }\mid S_{t-1}=s,A_{t-1}=a\right\}=\sum _{r\in \mathcal{R}}p\left(s^{\prime },r\mid s,a\right)\text{\hspace{1em}(2)}$$

• “状态-动作”二元组的期望收益，$r:\mathcal{S}\times \mathcal{A}\to \mathbb{R}$：
  $$\begin{gathered} {\mathcal{R}}_s^a\doteq r(s,a)\doteq \mathbb{E}\left[R_t\mid S_{t-1}=s,A_{t-1}=a\right] \\ =\sum _{r\in \mathcal{R}}r\sum _{s^{\prime }\in \mathcal{S}}p\left(s^{\prime },r\mid s,a\right)\text{\hspace{1em}(3)} \end{gathered}$$

2. 如何理解状态$S$和动作$A$

动作可以是任何我们想要做的策略
状态则可以是任何有所帮助的事情

3. 策略和价值函数

• 价值函数是状态（或状态与动作二元组）的函数，用来评估当前智能体在给定状态（或给定状态与动作）下有多好（回报的期望值）。
• 策略是从状态到每个动作的选择概率之间的映射
• 策略$\pi$ 下状态$s$的价值函数记为$v_{\pi }(s)$，也称为状态价值函数，即从状态$s$开始，智能体按照策略$\pi$ 进行决策所获得的回报的概率期望值。
  $$v_{\pi }(s)\doteq {\mathbb{E}}_{\pi }\left[G_t\mid S_t=s\right]={\mathbb{E}}_{\pi }\left[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}\mid S_t=s\right],\text{ for all }s\in \mathcal{S}\text{\hspace{1em}(4)}$$
• 策略$\pi$ 下在状态$s$时采取动作$a$的价值记为$q_{\pi }(s,a)$，也称为动作价值函数。这就是根据策略$\pi$ ，从状态$s$开始，执行动作$a$之后，所有可能的决策序列的期望回报
  $$q_{\pi }(s,a)\doteq {\mathbb{E}}_{\pi }\left[G_t\mid S_t=s,A_t=a\right]={\mathbb{E}}_{\pi }\left[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}\mid S_t=s,A_t=a\right]\text{\hspace{1em}(5)}$$

4. 价值函数的贝尔曼方程

4.1 何为贝尔曼方程

贝尔曼方程（Bellman Equation）也被称作动态规划方程（Dynamic Programming Equation），是动态规划（Dynamic Programming）这些数学最佳化方法能够达到最佳化的必要条件（来自百度百科，Wikipedia）。

4.2 状态价值函数的贝尔曼方程

$$\begin{array}{rl}{v}_{\pi }(s)& \doteq {\mathbb{E}}_{\pi }\left[G_t\mid S_t=s\right]\\ & ={\mathbb{E}}_{\pi }\left[R_{t+1}+\gamma G_{t+1}\mid S_t=s\right]\\ & =\sum _a\pi (a\mid s)\sum _{s^{\prime }}\sum _{r}p\left(s^{\prime },r\mid s,a\right)\left[r+\gamma {\mathbb{E}}_{\pi }\left[G_{t+1}\mid S_{t+1}=s^{\prime }\right]\right]\\ & =\sum _a\pi (a\mid s)\sum _{s^{\prime },r}p\left(s^{\prime },r\mid s,a\right)\left[r+\gamma v_{\pi }\left(s^{\prime }\right)\right],\text{ for all }s\in \mathcal{S},\end{array}\text{\hspace{1em}(6)}$$
该等式表达了状态价值和后继状态价值之间的关系，对所有可能性采用其出现概率进行了加权平均。

解析：
配合上面的状态价值回溯图理解上面式(6)，在式(6)中第三行中的${\sum }_a\pi (a\mid s){\sum }_{s^{\prime }}{\sum }_{r}p\left(s^{\prime },r\mid s,a\right)$ 表示第一行中的${\mathbb{E}}_{\pi }\left[\ast \mid S_t=s\right]$变量$G_t$的概率。${\sum }_a\pi (a\mid s)$遍历了策略$\pi$在状态$s$时所有可以选择行动；对于每一个可以选择的行动$a$，${\sum }_{s^{\prime }}{\sum }_{r}p\left(s^{\prime },r\mid s,a\right)$遍历了所有可能到达的下一个状态$s^{\prime }$，以及每个$s^{\prime }$下所有可能得到的受益$r$。这样就相当于遍历了未来所有可能情况（动作-下一状态-收益）的概率，以此对未来回报进行加权求和，作为状态$s$的价值。

式(6)中第三行中的${\mathbb{E}}_{\pi }\left[G_{t+1}\mid S_{t+1}=s^{\prime }\right]$实际上就是$s^{\prime }$的状态价值，故可以写成第四行的形式。虽然按照式(4)的定义，$s^{\prime }$的状态价值为${\mathbb{E}}_{\pi }\left[G_t\mid S_t=s\right]$，但这里$t+1$和$t$并不会导致什么不同，因为策略和$p\left(s^{\prime },r\mid s,a\right)$都与$t$无关。

4.3 动作价值函数贝尔曼方程

$$\begin{array}{rl}{q}_{\pi }(s,a)& \doteq {\mathbb{E}}_{\pi }\left[G_t\mid S_t=s,A_t=a\right]\\ & ={\mathbb{E}}_{\pi }\left[R_{t+1}+\gamma G_{t+1}\mid S_t=s,A_t=a\right]\\ & =\sum _{s^{\prime }}\sum _{r}p\left(s^{\prime },r\mid s,a\right)\left[r+\gamma \sum _{a^{\prime }}\pi (a^{\prime }\mid s^{\prime }){\mathbb{E}}_{\pi }\left[G_{t+1}\mid S_{t+1}=s^{\prime },A_{t+1}=a^{\prime }\right]\right]\\ & =\sum _{s^{\prime },r}p\left(s^{\prime },r\mid s,a\right)\left[r+\gamma \sum _{a^{\prime }}\pi (a^{\prime }\mid s^{\prime })q_{\pi }(s^{\prime },a^{\prime })\right]\\ & ={\mathcal{R}}_s^a+\gamma \sum _{s^{\prime }\in \mathcal{S}}{\mathcal{P}}_{s{s}^{\prime }}^a\sum _{a^{\prime }\in \mathcal{A}}\pi \left(a^{\prime }\mid s^{\prime }\right)q_{\pi }\left(s^{\prime },a^{\prime }\right)\end{array}\text{\hspace{1em}(7)}$$
注意式(7)中没有出现式(6)的${\sum }_a\pi (a\mid s)$，因为在动作价值函数中，动作时参数之一，是已经确定的，因此他的根节点只有唯一的一个。第三行引入$a^{\prime }$为下一时刻的动作，这是为了与$s^{\prime }$组成“状态-动作”二元组，以构造动作价值函数的形式，在第四行引入$q_{\pi }\left(s^{\prime },a^{\prime }\right)$。然后第五行可以根据式(2)(3)简化。

解析：
配合上面的动作价值回溯图理解式(7)，在式(7)中第三行${\sum }_{s^{\prime }}{\sum }_{r}p\left(s^{\prime },r\mid s,a\right)$是对${\mathbb{E}}_{\pi }\left[\ast \mid S_t=s,A_{(}t)=a\right]$的变量$R_{t+1}$的概率，遍历了根节点分支中所有的状态和奖励，这里得出了奖励的期望，如式(3)。${\sum }_{s^{\prime }}{\sum }_{r}p\left(s^{\prime },r\mid s,a\right){\sum }_{a^{\prime }}\pi \left(a^{\prime }\mid s^{\prime }\right)$是$G_{t+1}$的概率，遍历了根节点分支中所有状态以及其可能做出的所有的动作。

4.4 回溯图理解法

4.4.1 状态价值函数回溯图分解如下

把状态价值回溯图分解成两个部分，红色部分是根节点$v_{\pi }(s)$与策略$\pi$下所有动作组成的可执行状态-动作二元组，首先列出这一层的回溯方程：
$$\begin{array}{rl}{v}_{\pi }(s)& =\pi (a_1\mid s)q_{\pi }(s,a_1)+\pi (a_2\mid s)q_{\pi }(s,a_2)+\cdots \\ & =\sum _a\pi (a\mid s)q_{\pi }(s,a)\end{array}\text{\hspace{1em}(8)}$$

红色部分是根节点为$q_{\pi }(s,a)$与特定动作$a$与其MDP环境动态特性$p\left(s^{\prime },r\mid s,a\right)$下所有可能的$v_{\pi }(s)$叶子节点，列出第二层的回溯方程：
$$\begin{array}{rl}{q}_{\pi }(s,a)& =p\left(s_1^{\prime },r_1\mid s,a\right)(r_1+\gamma v_{\pi }(s_1^{\prime }))+p\left(s_2^{\prime },r_2\mid s,a\right)(r_2+\gamma v_{\pi }(s_2^{\prime }))+\cdots \\ & =\sum _{s^{\prime }}\sum _{r}p\left(s^{\prime },r\mid s,a\right)(r+\gamma v_{\pi }(s^{\prime }))\end{array}\text{\hspace{1em}(9)}$$
因此，把式(9)代入式(8)可以得到：
$$v_{\pi }(s)=\sum _a\pi (a\mid s)\sum _{s^{\prime },r}p\left(s^{\prime },r\mid s,a\right)\left[r+\gamma v_{\pi }\left(s^{\prime }\right)\right],\text{ for all }s\in \mathcal{S}$$

4.4.2 动作价值函数的回溯图分解如下

把式(8)代入式(9)可以得到(这里的式(8)(9)的符号的角标需要根据上面回溯图修改)
$$q_{\pi }(s,a)=\sum _{s^{\prime },r}p\left(s^{\prime },r\mid s,a\right)\left[r+\gamma \sum _{a^{\prime }}\pi (a^{\prime }\mid s^{\prime })q_{\pi }(s^{\prime },a^{\prime })\right]$$

4.5 实例理解法

举例来说，假设智能体在一个如图 1 所示的 2×2 网格中移动，智能体在每个格子（状态）中都可以选择向上、下、左、右四个方向移动（动作），移出网格的动作会使智能体停留在原地。智能体从其他格子移动到 B，或者从在 B 中选择向上或向左移动停留在 B，都会获得 +5 的收益，其他动作的收益均为 0。

由式 (6)，可以定义状态$A$在策略$\pi$下的状态价值函数为
$$v_{\pi }(A)\doteq {\mathbb{E}}_{\pi }\left[G_t\mid S_t=A\right]$$
令$\gamma =0.7$，状态$A$的价值函数可以写成
$$v_{\pi }(A)=\sum _a\pi (a\mid s)\left(r+0.7v_{\pi }\left(s^{\prime }\right)\right)\text{\hspace{1em}(10)}$$
上式中${\sum }_{s^{\prime }}{\sum }_{r}p\left(s^{\prime },r\mid s,a\right)$的值是确定为1的，因为定义了上、下、左、右只能百分之百前往准确的一个状态，不会有概率去往其他的状态。因此在执行动作$a$后只有唯一的一个状态$s^{\prime }$和收益$r$。虽然省略了像(6)式中那样对$s^{\prime }$和$r$进行求和，但$s^{\prime }$和受益$r$的值仍然依赖于选择的动作$a$。
假设智能体在每个状态都随机地选择动作，即选择选择向上、下、左、右四个方向移动的概率均为0.25，则由式(10)，有
$$v_{\pi }(A)=\frac{1}{4}\left(5+0.7v_{\pi }(B)\right)+\frac{1}{4}\left(0+0.7v_{\pi }(C)\right)+\frac{1}{4}\left(0+0.7v_{\pi }(A)\right)+\frac{1}{4}\left(0+0.7v_{\pi }(A)\right)\text{\hspace{1em}(11)}$$
式(11)中等号右边的四项分别为在状态$A$选择向右、下、左、上移动所带来的收益。类似地，可以得到状态$B,C,D$的状态价值，组成方程组
$$\begin{array}{lllc}{v}_{\pi }(A)& =\frac{1}{2}0.7v_{\pi }(A)& +\frac{1}{4}\left(5+0.7v_{\pi }(B)\right)& +\frac{1}{4}0.7v_{\pi }(C)\\ & & & \\ v_{\pi }(B)& =\frac{1}{2}\left(5+0.7v_{\pi }(B)\right)& +\frac{1}{4}0.7v_{\pi }(A)& +\frac{1}{4}0.7v_{\pi }(D)\\ & & & \\ v_{\pi }(C)& =\frac{1}{2}0.7v_{\pi }(C)& +\frac{1}{4}0.7v_{\pi }(A)& +\frac{1}{4}0.7v_{\pi }(D)\\ & & & \\ v_{\pi }(D)& =\frac{1}{2}0.7v_{\pi }(D)& +\frac{1}{4}\left(5+0.7v_{\pi }(B)\right)& +\frac{1}{4}0.7v_{\pi }(C)\end{array}$$
上面的方程组有唯一解
$$\begin{array}{rl}& v_{\pi }(A)=4.17\\ & v_{\pi }(B)=6.09\\ & v_{\pi }(C)=2.24\\ & v_{\pi }(D)=4.17\end{array}$$
虽然状态价值函数的定义中包含了未来所有可能的收益，但通过贝尔曼方程，就能以求解线性方程组的方式，计算得到了各个状态的价值。

5. 最优策略和最优价值函数

解决一个强化学习任务就意味着要找出一个策略，使其能够在长期过程中获得大量受益。对于有限MDP，我们可以通过比较价值函数精确地定义一个最优策略。若对于所有的$s\in \mathcal{S}$，$\pi \ge {\pi }^{\prime }$，那么应当$v_{\pi }(s)\ge v_{{\pi }^{\prime }}(s)$。总会存在至少一个策略不劣于其他所有的策略，这就是最优策略。最优状态价值函数记为$v_{\ast }(s)$，其定义为：对于任意$s\in \mathcal{S}$，
$$v_{\ast }(s)\doteq \underset{\pi }{\max }{v}_{\pi }(s),\text{ for all }s\in \mathcal{S}$$
最优动作价值函数记为$q_{\ast }(s,a)$，其定义为：对于任意$s\in \mathcal{S}$，$a\in \mathcal{A}(s)$，
$$q_{\ast }(s,a)\doteq \underset{\pi }{\max }{q}_{\pi }(s,a)\text{ for all }s\in \mathcal{S}，a\in \mathcal{A}(s)$$
对于“状态-动作”二元组$(s,a)$，这个函数给出了在状态$s$下，先采取动作$a$，之后按照最优策略去决策的期望回报。因此，我们可以用$v_{\ast }$来表示$q_{\ast }$
$$q_{\ast }(s,a)=\mathbb{E}\left[R_{t+1}+\gamma v_{\ast }\left(S_{t+1}\right)\mid S_t=s,A_t=a\right]$$

贝尔曼最优方程阐述了一个事实：最优策略下各个状态的价值一定等于这个状态下最优动作的期望回报
$$\begin{array}{rl}{v}_{\ast }(s)& =\underset{a\in \mathcal{A}(s)}{\max }{q}_{{\pi }_{\ast }}(s,a)\\ & =\underset{a}{\max }{\mathbb{E}}_{{\pi }_{\ast }}\left[G_t\mid S_t=s,A_t=a\right]\\ & =\underset{a}{\max }{\mathbb{E}}_{{\pi }_{\ast }}\left[R_{t+1}+\gamma G_{t+1}\mid S_t=s,A_t=a\right]\\ & =\underset{a}{\max }\mathbb{E}\left[R_{t+1}+\gamma v_{\ast }\left(S_{t+1}\right)\mid S_t=s,A_t=a\right]\\ & =\underset{a}{\max }\sum _{s^{\prime },r}p\left(s^{\prime },r\mid s,a\right)\left[r+\gamma v_{\ast }\left(s^{\prime }\right)\right]\end{array}$$
最后两个等式就是$v_{\ast }$的贝尔曼最优方程的两种形式。
 $q_{\ast }$的贝尔曼最优方程如下
$$\begin{array}{rl}{q}_{\ast }(s,a)& ={\mathbb{E}}_{{\pi }_{\ast }}\left[R_{t+1}+\gamma \underset{a^{\prime }}{\max }{q}_{\ast }(S_{t+1},a^{\prime }\mid )S_t=s,A_t=a\right]\\ & =\sum _{s^{\prime },r}p\left(s^{\prime },r\mid s,a\right)(r+\gamma \underset{a^{\prime }}{\max }{q}_{\ast }(s^{\prime },a^{\prime }))\end{array}$$

对于最优价值函数$v_{\ast }$来说，任何贪心策略都是最优策略。
$${\pi }_{\ast }(a\mid s)=\{\begin{array}{rl}1& \text{ if }a=\underset{a\in A}{\mathrm{argmax}}{q}_{\ast }(s,a)\\ 0& \text{ otherwise}\end{array}$$

5.1 实例理解

下面这个图是一个持续性MDP，在顶部状态下，可选的动作只有left和right。线上的数值表示在做每一个动作后获得的固定收益。我们有两个确定的策略${\pi }_{left}$和${\pi }_{right}$。在$\gamma$分别为0、0.9、0.5时，哪个策略是最优的？

从上面的回溯图中可以看出，每个动作可选择的状态都是唯一的，因此$p\left(s^{\prime },r\mid s,a\right)=1$，在指定策略$\pi$下可以得
$$\begin{array}{rl}{v}_{\pi }(s_t)& =r+\gamma v_{\pi }(s_{t+1})\\ & =\sum _{t=0}^{\infty }{\gamma }^t{r}_t\end{array}$$
 因此，当$\gamma =0$，则状态价值函数只与当前的受益有关，与为了受益无关
$$\begin{gathered} v_{{\pi }_{\text{left}}}=1 \\ {v}_{{\pi }_{\text{right}}}=0 \end{gathered}$$
此刻策略${\pi }_{\text{left}}$是最优策略。
 当$\gamma =0.9$时，
$$\begin{gathered} v_{{\pi }_{\text{left}}}=1+0.9\ast 0+0.9^2\ast 1+\cdots =\sum _{k=0}^{\infty }0.9^{2k}=\frac{1}{1-0.9^2}\approx 5.3 \\ {v}_{{\pi }_{\text{right}}}=0+0.9\ast 2+0.9^2\ast 0+\cdots =\sum _{k=0}^{\infty }0.9^{2k+1}\ast 2=\frac{0.9}{1-0.9^2}\ast 2\approx 9.5 \end{gathered}$$
此刻策略${\pi }_{\text{right}}$是最优策略。
 当$\gamma =0.5$时，
$$\begin{gathered} v_{{\pi }_{\text{left}}}=1+0.5\ast 0+0.5^2\ast 1+\cdots =\sum _{k=0}^{\infty }0.5^{2k}=\frac{1}{1-0.5^2}\approx 1.3 \\ {v}_{{\pi }_{\text{right}}}=0+0.5\ast 2+0.5^2\ast 0+\cdots =\sum _{k=0}^{\infty }0.5^{2k+1}\ast 2=\frac{0.5}{1-0.5^2}\ast 2\approx 1.3 \end{gathered}$$
此刻策略${\pi }_{\text{right}}$,${\pi }_{\text{left}}$都为最优的策略。

参考

[1] Reinforcement Learning: An Introduction second edition
[2] Videos of David Sliver [YouTube] [BiliBili]
[3] https://blog.nex3z.com/2019/10/17/rl-notes-bellman-equation/