深度强化学习（2）马尔可夫决策过程(MDP)

• 本文首发于个人博客，欢迎逛逛呀！

马尔可夫决策过程描述了强化学习的环境【环境是完全可观察的】，几乎所有的强化学习问题都可以转化为马尔可夫决策过程

一、马尔可夫过程（Markov Process）

1）马尔可夫性质：

• 当前状态已经包含了历史信息中对决定下一步有用的所有信息，或者说给定当前的状态，过去的状态与未来的状态是独立的；

• 数学表达式：

  

2) 马尔可夫过程（马尔可夫链）

• 马尔可夫过程是无记忆的随机过程，是一系列的具有马尔可夫性质的随机状态，可以用二元组 来表示

  • S: 表示状态的集合；即环境中所有的状态的集合；

  • P：表示状态转移概率矩阵，其中 $p_{ij}$ 表示从状态 i 转移到 j 的概率，因此，每一行的概率之和为 1

    

• 一个例子：学生马尔可夫过程

  • 图中，每一个圆圈都代表一个状态，箭头代表状态之间的转移，箭头上的数字代表状态转移的概率

  

二、 马尔可夫奖励过程（Markov Reward Process）

• 马尔可夫奖励过程是在马尔可夫过程的基础上加入了奖励函数 R 和折扣因子 $\gamma$ （ a Markov chain with values），所以马尔可夫奖励过程可以用四元组来表示：$\gamma$>

  • S: 和马尔可夫过程中一样，是有限的状态集合
  • P: 和马尔可夫过程中一样，是状态转移的概率
  • R：是 reward 函数
  • $\gamma$ ：折扣因子，范围在 0~1 之间

• 一个例子，学生马尔可夫奖励过程

  

1) Return

• 定义：我们定义 Return $G_t$ 为从时间 t 开始的折扣 reward 之和【The return $G_t$ is the total discounted reward from time-step t.】

  

• 当 $\gamma$ 接近 0 的时候，将会更加“近视”，注重即时回报；当 $\gamma$ 接近 1 的时候会更加“有远见”，会考虑长远的回报

• 为什么都要考虑折扣因子 $\gamma$：

  1. 削减 reward 从数学上来讲是非常方便的；
  2. 避免循环马尔可夫过程中出现无限奖励
  3. 未来的不确定性，模型并不能完全展现未来的不确定性
  4. 人类或者动物更倾向于即时奖励，而不是延迟奖励
  5. 有时候，当所有的序列都有终止的时候，可以使用 $\gamma =1$ 的马尔可夫奖励过程

2) Value Function

• 定义：value function v(s) 给出了 状态 s 的长期 value【实际上就是，任意一个状态的 value 就是，从这个状态出发，直到重点所能获得的 return 的期望， 体现的是当前这个状态的好坏程度】

  

• 例子，根据上面例子中的马尔可夫奖励过程，假如我们要计算状态 C1（class 1）的 value，设定$\gamma =\frac{1}{2}$ ，则有：

  • 下面的例子中，我们仅仅选择了其中的四个不同的路径；实际上，这样的序列是无穷的，我们要做的就是进行采样，来近似地进行估算

  

  • 上面的式子中注意区分 return G 和 状态值函数 v ，上图中多次出现 $v_1$，但是实际上这里用 $G_1$ 可能会更容易理解一些；某一个状态的值 v，实际上是这个状态上所有 G 的数学期望；

• 从某一个状态出发到终止状态，因为有很多不同的序列，因此，就某一次 Return 而言是随机的，但是，这个状态的 value 并不是随机的，而是这些随机的 return 的数学期望；

• 下面举一个例子，对比不同折扣因子下，每个状态 value 的不同：【具体状态值的计算，看下一节 Bellman 等式】

  

3）Bellman Equation for MRPs 【贝尔曼等式】

• Bellman 等式是强化学习中的基础 【非常重要】

• Bellman 等式的基本思想是：使用迭代的思想，状态值函数（value function）可以分解为两部分：

  1. 即时奖励：$R_{t+1}$
  2. 后面一个状态值与折扣因子之积：$\gamma v(S_{t+1})$

• Bellman 等式的推导过程：【其中 E 是数学期望，可以暂时不用考虑】

  

  • 上面推导过程中倒数第二行到倒数第一行之间的过程，可以细化一下：

    

  • 从上面的倒数第三行到倒数第二行，是因为 $\gamma v(S_{t+1})$ 本身就是一个标量（一个数字），所以可以直接加上期望符号

  • 我们可以继续进行推导：

    • 假设当前时间为 t，状态为 s，下一个时间 t+1 的状态为 $s^{{}^{\prime }}$，$P_{s{s}^{{}^{\prime }}}$ 表示从状态 s 转移到状态 $s^{{}^{\prime }}$ 的概率 ，则有

    

  • 举一个栗子：【当前的 $\gamma =1$】

    • 这里的 R 可能让你疑惑，它代表的含义是：你处于这个状态 s，当你离开这个状态 s 的时候，无论你到达的下一个状态是是什么，都会获得这个即时奖励 R 【而在后面的马尔科夫决策过程中，你可以根据采取的不同的动作来赋予不同的即时奖励的值】
    

• Bellman 等式的矩阵形式

  • 我们可以使用矩阵来简化 Bellman 等式（Bellman equation）：$v=R+\gamma Pv$

    

• 解 Bellman 方程，因为 Bellman 方程是线性的，所以我们可以进行下面的操作：

  
  • 但是这种解法的时间复杂度是 $O(n^3)$ ，所以当 n 比较大的时候，这个方法是不行的，仅仅适用于小的 MRP ；
  • 对于大型的 MRP，可以使用的方法
    1. Dynamic programming
    2. Monte-Carlo evaluation
    3. Temporal-Difference learning

三、马尔科夫决策过程（Markov Decision Process）

马尔科夫决策过程（MDP）实际上是在马尔科夫奖励过程（MRP）的基础上加上决策（Decision）；它是一个所有状态都满足马尔科夫性质的环境

1） 定义

• 一个 MDP 过程可以用一个五元组来表示：$\gamma$ >

  1. S: 有限状态集合
  2. A：有限动作（actions）集合
  3. P：状态转移概率矩阵 $P_{s{s}^{{}^{\prime }}}^a=P[S_{t+1}=s^{{}^{\prime }}|S_t=t,A_t=a]$
  4. R：奖励函数，$R_s^a=E[R_{t+1}|S_t=s,A_t=a]$
  5. $\gamma$：折扣函数，范围在 0~1 之间

• 举个栗子：行动（action）就是下图中红色的部分

  

2）Policy

1. 定义：Policy $\pi$ 是在给定状态的情况下，各种行动（action）的分布

   

   • 一个 Policy $\pi$ 完全定义了一个智能体（agent）的表现
   • MDP 的 policies 取决于当前的状态，而不是历史状态【我们并不关系当前我们已经获得了多少奖励，我们要的是，从当前状态开始，尽量获取最多的奖励】

2. 给定一个 MDP $\gamma$ > 和一个 Policy $\pi$

   • 状态序列 $S_1,S_2,...$ 是一个马尔可夫过程 < S, $P^{\pi }$>

   • 状态和奖励序列 $S_1,R_2,S_2,...$ 是一个马尔可夫奖励过程（MRP）$P^{\pi },R^{\pi },\gamma$ >，其中：

     

3) Value Function

1. 定义：

   

   

   • state-value：告诉我们，当我们遵从 Policy $\pi$ ，我们所处的特定状态 s 的好坏程度
   • action-value：告诉我们，当我们遵从 Policy $\pi$ ，我们在指定状态 s 采取行动 a 的好坏程度

2. 举个栗子：

   • 学生 MDP 的 state-value function

     

4）Bellman Expectation Equation

• 跟上面马尔可夫奖励过程的 Bellman 等式类似，我们可以进行类似的推导，使得 state-value 函数和 action-value 函数可以分解为即时奖励与折扣的下一个状态的值之和：
  $$v_{\pi }(s)=E_{\pi }[R_{t+1}+\gamma v_{\pi }(S_{t+1})|S_t=s]$$

  $$q_{\pi }(s,a)=E_{\pi }[R_{t+1}+\gamma q_{\pi }(S_{t+1},A_{t+1})|S_t=s,A_t=a]$$

  • 这里 action-value 可能让人误解，这里指的是，当前状态 $S_t=s,A_t=a$ ，通过采取行动 a，获得即时奖励 $R_{t+1}$ ，这个即时奖励再加上在下一个状态 $S_{t+1}$ 采取行动 $A_{t+1}$ 的值【因为这里取的是期望，所以即时奖励加上的是：下个状态在采取不同行动的情况下的值的期望】

• state-value 和 action-value 之间的关系

  state-value 告诉我们处于一个状态的好坏程度；action-value 告诉我们处于一个状态并采取特定行动的好坏程度

  • state-value: 实际上是在状态 s 下，采取不同行动的 action-value 之和

    

  • action-value: 是在状态 s 下，采取行动 a 获取的即时奖励与采取行动 a 到达不同的下个状态的概率和折扣的下个状态的值乘积的总和

    ​

• 将上面两个式子结合在一起，得到：

  • 这里需要注意的是，下图表明的是，一个状态可以采取多种不同的行动；同时在一个状态采取同一个行动可以到达不同的下一个状态

  

• 举个栗子：【单独考虑红色的圆圈代表的状态】【实际上可以想象，每一个箭头，从一个状态到另一个状态中间都有一个隐形的 action 点】

  

5）Bellman Expectation Equation 的矩阵形式

• 结合上文讲到的在马尔可夫奖励过程中的 Bellman Equation 的简化以及求解，我们可以看到，类似的有：
  $$v_{\pi }=R^{\pi }+\gamma P^{\pi }{v}_{\pi }$$

  • 求解方法：

  $$v_{\pi }=(1-\gamma P^{\pi }{)}^{-1}{R}^{\pi }$$

6）Optimal Value Function

1. 定义：

   • 一个状态的最佳状态值，是从这个状态出发，在所有策略中所能获取的最多的状态值函数
   • 一个状态采取指定动作的最佳动作值函数，是从这个状态出发，采取指定行动，在所有策略中所能获得的最多的动作值函数【同一个状态下，不同行动的最佳动作值函数的对比可以帮助我们选择动作】
   
   • 总的来说，optimal value function 确定了在一个 MDP 中可能的最好表现
   • 当我们知道一个 MDP 的 optimal value function 的时候，我们说这个 MDP 是被 “solved”

2. 举个例子：

   • 下图分别是 optimal state-value function 和 optimal action-value function 的例子

   

3. Optimal Policy

   • 定义：
     $$如果对于任意的s，都有v_{\pi }(s)>=v_{{\pi }^{{}^{\prime }}}(s)，则有\pi >={\pi }^{{}^{\prime }}$$

   • 对于一个 MDP 来说：

     • 总是存在一个最佳的 Policy ${\pi }_{\ast }$ 比其他的 Policy 更好或者至少一样好，即对于任意的 $\pi$，都有：${\pi }_{\ast }>=\pi$ 【最佳 Policy 可能是有多个的】
     • 所有的最佳 policy 都能够达到最佳状态值函数：$v_{{\pi }_{\ast }}(s)=v_{\ast }(s)$
     • 所有的最佳 Policy 都能达到最佳动作值函数：$q_{{\pi }_{\ast }}(s,a)=q_{\ast }(s,a)$

   • 怎样找到一个最佳的 policy？通过最大化 $q_{\ast }(s,a)$ ，我们可以找到最佳的 Policy：

     
     • 对于任何一个 MDP 来说，都有一个确定的最佳 Policy
     • 当我们知道 $q_{\ast }(s,a)$ 的时候，我们就可以知道最佳 Policy

   • 举个例子：【红色部分是我们的最佳 Policy】

     

7）Bellman Optimality Equation

1. Bellman Optimality Equation for $v_{\ast }$

   • 观察我们可以采取的行动的 value，选择值最大的 action

     

2. Bellman Optimality Equation for $Q^{\ast }$

   • 采取行动之后，我们可能处于的状态可能会有多个，这个是我们不能控制的，所以不能取最大的，这个是环境决定的
   

3. 结合上面的两个式子，得到：

   

4. 举个栗子：

   

8）解 Bellman Optimality Equation

• Bellman Optimality Equation 是非线性的，所以不能像之前线性的方程一样直接进行求解
• 一些迭代的方法：
  1. Value Iteration
  2. Policy Iteration
  3. Q-learning
  4. Sarsa

四、其他的一些拓展【可以自己找 资料看一下，不是重点】

• Infinite and continuous MDPs
• Partially observable MDPs
• Undiscounted, average reward MDPs

Reference

1. 深度强化学习（David silver）
2. 你都知道马尔可夫决策过程这些知识点吗？
3. 强化学习通俗理解系列一：马尔科夫奖赏过程MRP