强化学习：马尔科夫决策与策略迭代

1 马尔科夫决策

• 状态空间 $S$，动作空间 $A$，状态转移概率 $P(s^{\prime }|s,a)$，奖励函数 $R(s,a,s^{\prime })$，折扣因子 $\gamma \in [0,1]$
• 策略 $\pi (a|s)$，价值函数 $v_{\pi }(s)$，动作价值函数 $q_{\pi }(s,a)$
• $s\in S,a\in A(s),\pi (a|s)\in [0,1]$

1.1 价值函数

$$G_t=\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\cdots \text{\hspace{1em}(1)}$$

1.2 状态价值函数

$$\begin{gathered} v_{\pi }(s)={\mathbb{E}}_{\pi }[G_t|S_t=s] \\ ={\mathbb{E}}_{\pi }[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s] \\ =\sum _a\pi (a|s)\sum _{s^{\prime },r}p(s^{\prime },r|s,a)\left[r+\gamma v_{\pi }(s^{\prime })\right]\text{\hspace{1em}(2)} \end{gathered}$$

1.3 动作价值函数

$$\begin{gathered} q_{\pi }(s,a)={\mathbb{E}}_{\pi }[G_t|S_t=s,A_t=a] \\ ={\mathbb{E}}_{\pi }[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s,A_t=a] \\ =\sum _{s^{\prime },r}p(s^{\prime },r|s,a)\left[r+\gamma \sum _{a^{\prime }}\pi (a^{\prime }|s^{\prime })q_{\pi }(s^{\prime },a^{\prime })\right]\text{\hspace{1em}(3)} \end{gathered}$$

1.4 $v_{\pi }$ 和 $q_{\pi }$ 的关系

$$v_{\pi }(s)=\sum _a\pi (a|s)q_{\pi }(s,a)\text{\hspace{1em}(4)}$$
$$q_{\pi }(s,a)=\sum _{s^{\prime },r}p(s^{\prime },r|s,a)\left[r+\gamma v_{\pi }(s^{\prime })\right]\text{\hspace{1em}(5)}$$

1.5 最优价值函数

$$v_{\ast }(s)=\underset{\pi }{\max }{v}_{\pi }(s)\text{\hspace{1em}(6)}$$
$$q_{\ast }(s,a)=\underset{\pi }{\max }{q}_{\pi }(s,a)\text{\hspace{1em}(7)}$$

1.6 最优策略

• 存在最优策略 ${\pi }_{\ast }$，使得 $v_{{\pi }_{\ast }}(s)\ge v_{\pi }(s)$，即最优策略的价值函数大于等于其他策略的价值函数；
  $$v_{{\pi }_{\ast }}(s)=\underset{a}{\max }{q}_{{\pi }_{\ast }}(s,a)\text{\hspace{1em}(8)}$$
  即最优状态价值函数等于最优动作价值函数的最大值, 理由是: 任意一个状态，都可以通过任意一个动作到达下一个状态，而下一个状态的价值函数是最优的，所以当前状态的价值函数也是最优的。
• 最优函数之间的关系
  $$\begin{gathered} v_{\ast }(s)=\underset{a}{\max }{q}_{\ast }(s,a) \\ =\underset{a}{\max }\sum _{s^{\prime },r}p(s^{\prime },r|s,a)\left[r+\gamma v_{\ast }(s^{\prime })\right]\text{\hspace{1em}(9)} \end{gathered}$$
  $$q_{\ast }(s,a)=\sum _{s^{\prime },r}p(s^{\prime },r|s,a)\left[r+\gamma \underset{a^{\prime }}{\max }{q}_{\ast }(s^{\prime },a^{\prime })\right]\text{\hspace{1em}(10)}$$
  公式(9)和(10)就是贝尔曼方程，是动态规划的基础。

2 策略迭代

• 策略迭代分为两个步骤：策略评估和策略改进。

2.1 策略评估

• 策略评估是指给定一个策略，计算价值函数的过程。
• 策略评估的目标是使得价值函数收敛，即 $v_{\pi }(s)\to v_{\ast }(s)$，即 $v_{\pi }(s)$ 逼近 $v_{\ast }(s)$。
• 策略评估的方法有很多，这里介绍迭代法。

2.1.1 迭代法

• 迭代法是指从一个初始值开始，不断迭代，直到收敛。
• 迭代法的公式如下：
  $$v_{k+1}(s)=\sum _a\pi (a|s)\sum _{s^{\prime },r}p(s^{\prime },r|s,a)\left[r+\gamma v_k(s^{\prime })\right]\text{\hspace{1em}(11)}$$
• 算法描述如下：
  • 初始化 $v_0(s)=0$，$k=0$；
  • 计算 $v_{k+1}(s)$，$k\leftarrow k+1$；
  • 如果 $v_{k+1}(s)-v_k(s)<\theta$，则停止迭代，否则继续迭代。

2.2 策略改进

• 策略改进是指改进策略，使得价值函数更大。
• 策略改进的方法有很多，这里介绍贪心法。

2.2.1 贪心法

• 贪心法是指每次都选择最优的动作，即：
  $${\pi }^{\prime }(s)=\arg \underset{a}{\max }\sum _{s^{\prime },r}p(s^{\prime },r|s,a)\left[r+\gamma v_k(s^{\prime })\right]\text{\hspace{1em}(12)}$$

2.3 策略迭代算法

• 策略迭代算法是指不断迭代策略评估和策略改进，直到策略不再改变。
• 一旦一个策略$\pi$根据$v_{\pi }$产生了一个更好的策略${\pi }^{\prime }$，那么就可以用$v_{{\pi }^{\prime }}$来评估${\pi }^{\prime }$，然后再根据$v_{{\pi }^{\prime }}$产生一个更好的策略${\pi }^{\prime \prime }$，以此类推，直到策略不再改变。
• 策略迭代算法的伪代码如下：
  • 初始化 $v_0(s)=0$，$k=0$，${\pi }_0(s)=\arg {\max }_a{q}_0(s,a)$；
  • 评估策略${\pi }_k$：
    • 计算 $v_{k+1}(s)$，$k\leftarrow k+1$；
    • 如果 $v_{k+1}(s)-v_k(s)<\theta$，则停止迭代，否则继续迭代；
  • 改进策略${\pi }_k$：
    • ${\pi }_{k+1}(s)=\arg {\max }_a{\sum }_{s^{\prime },r}p(s^{\prime },r|s,a)\left[r+\gamma v_k(s^{\prime })\right]$，$k\leftarrow k+1$；
    • 如果 ${\pi }_{k+1}(s)={\pi }_k(s)$，则停止改进，否则继续改进。