强化学习基础-有模型学习

1 马尔科夫决策过程（MDP）

通常用马尔科夫决策过程Markov Decision process,MDP描述强化学习问题。一个基本的MDP问题可以用一个五元组$（S,A,P,R,\gamma ）$来表示，其中

• S 有限状态空间
• A 有限动作空间
• P 状态转移概率矩阵

$P_a(s,s^{\prime })=P(s_{t+1}=s^{\prime }|s_t=s,a_t=a)$ 表示在状态$s$下执行$a$动作，从状态$s$转移到$s^{\prime }$的概率

• R 表示奖励函数
• $\gamma$ 表示折扣因子

用来衡量当前奖励与未来奖励，可以理解为权重，一般会将未来的奖励权重调低

这样，MDP的目标就是找到一种$\pi (s)$，使得agent在状态$s$下能做出对应动作$a$,使得回报$G_t$能够达到最大
$$\begin{array}{rl}{G}_t& =R_{t+1}+{\gamma }^1{R}_{t+2}+{\gamma }^2{R}_{t+3}+...\\ & =\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}\end{array}\text{\hspace{1em}(1)}$$

​ 价值函数(Value Function)，定义为回报的期望，表示当前状态的未来潜在价值
$$V(s)=E[G_t|S_t=s]\text{\hspace{1em}(2)}$$

Reward(奖励)指agent采取某个动作后的奖励，是短期的即时的奖励
Return(回报)指各个短期奖励加权之和可以视为长远的奖励
Value(价值)指的是上述长远奖励的期望

​ 当前，强化学习的有两种思路：基于策略（Policy）函数的强化学习和基于价值（Value）函数的强化学习。

• 基于价值（Value）函数的强化学习，它需要首先对价值进行估计，然后间接地去求解如何选择动作。
• 基于策略（Policy）梯度的强化学习，其基本原理是通过反馈调整策略，具体来说就是在得到正向奖励时，增加相应的动作的概率；得到负向的奖励时，降低相应动作的概率。

2 Bellman方程

​ 将公式(1)代入公式(2)，得
$$\begin{array}{rl}V(s)& =E[G_t|S_t=s]\\ & =E[R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+...|S_t=s]\\ & =E[R_{t+1}+\gamma (R_{t+2}+\gamma R_{t+3}+...)|S_t=s]\\ & =E[R_{t+1}+\gamma G_{t+1}|S_t=s]\end{array}\text{\hspace{1em}(3)}$$
​ 又$V(s_{t+1})=E[G_{t+1}]$，所以有
$$\begin{array}{rl}V(S)& =E[R_{t+1}+\gamma G_{t+1}|S_t=s]\\ & =E[R_{t+1}+\gamma V(S_{t+1})|S_t=s]\end{array}\text{\hspace{1em}(4)}$$

上式即Bellman方程。从Bellman方程可以发现一个规律：当前状态的价值（Value）与两个因素有关：1) 当前的奖励（Reward）；2) 下一个迭代时刻的价值（Value）。

3 MDP问题建模

​ 假设已知了状态转移概率矩阵P和奖励函数R，结合Bellman方程，有
$$\begin{array}{rl}\pi (s)& ={\mathrm{argmax}}_a\sum _{s^{\prime }}{P}_a(s,s^{\prime })[R_a(s,s^{\prime })+\gamma \cdot V(S^{\prime })]\\ & ={\mathrm{argmax}}_{a}E[R_a(s,s^{\prime })+\gamma \cdot V(s^{\prime })]\\ & ={\mathrm{argmax}}_{a}V(s)\end{array}\text{\hspace{1em}(5)}$$

在状态$s$，agent会以某种概率执行a，从而到达状态$s^{\prime }$。于是，可根据新的状态计算相应的Reward和Value。agent需要在当前状态$s$下做出一个动作a，使得价值（Value）达到最大。

​ 为了后续方便，将公式(5)最后一行针对价值$V(s)$的展开部分独立出来，有
$$\begin{array}{rl}V(s)& =E[R_a(s,s^{\prime })+\gamma \cdot V(s^{\prime })]\\ & =\sum _{s^{\prime }}{P}_a(s,s^{\prime })[R_a(s,s^{\prime })+\gamma \cdot V(s^{\prime })]\end{array}\text{\hspace{1em}(6)}$$

4 价值迭代（Value Iteration)

$$V_{i+1}(s)=\underset{a}{\max }\sum _{s^{\prime }}{P}_a(s,s^{\prime })[R_a(s,s^{\prime })+\gamma \cdot V_i(s^{\prime })]\text{\hspace{1em}(7)}$$

基于价值迭代的求解方法中，迭代过程中仅仅更新价值（Value）

---

Initialization
​  array $V$ arbitrary(e.g. $V(s)=0$ for all $s\in S^{+}$)
repeat
​ $\Delta \leftarrow 0$
​​ for each $s\in S$
​ ​ $v\leftarrow V(s)$ #当前状态的价值
​​ ​ $V(s)\leftarrow {\max }_a{\sum }_{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma \cdot V(s^{\prime })]$#在所有可能的动作中找出期望价值最大的案例
​​ ​ $\Delta \leftarrow \max (\Delta ,|v-V(s)|)$ #当前状态价值与新状态价值的差距的最大值
​ end for
until $\Delta <\theta ,\theta$ is a small positive umber #状态趋于稳定
output: a deterministic policy $\pi (s)$

价值迭代方法在求解时，会遍历状态集S，将其具有最大价值所对应的动作保留下来形成策略$\pi (s)$

---

5 策略迭代（Policy Iteration）

与价值迭代不同，策略迭代的方法在迭代过程中要同时更新价值和策略。通常它分为如下两个主要步骤

5.1 策略评估

对应公式(6)
$$\begin{array}{rl}V(s)& =E[R_a(s,s^{\prime })+\gamma \cdot V(s^{\prime })]\\ & =\sum _{s^{\prime }}{P}_a(s,s^{\prime })[R_a(s,s^{\prime })+\gamma \cdot V(s^{\prime })]\end{array}\text{\hspace{1em}(6)}$$
​策略评估的内涵就是在给定的策略下，迭代更新价值（Value）直至收敛，从而得到稳定的价值函数。这么做的意义在于更好地估计当前策略的价值（Value）。

5.2 策略改进

​ 对应公式(5)
$$\begin{array}{rl}\pi (s)& ={\mathrm{argmax}}_a\sum _{s^{\prime }}{P}_a(s,s^{\prime })[R_a(s,s^{\prime })+\gamma \cdot V(S^{\prime })]\\ & ={\mathrm{argmax}}_{a}E[R_a(s,s^{\prime })+\gamma \cdot V(s^{\prime })]\\ & ={\mathrm{argmax}}_{a}V(s)\end{array}\text{\hspace{1em}(5)}$$
在策略改进步骤中，代理利用步骤1中更新后的价值（Value）函数，更新每种状态下的策略并迭代，直到策略稳定下来。其迭代算法描述如下所示：

---

1. Intialization
   ​ $V(s)\in \mathbb{R}$ and $\pi (s)\in A(s)$ arbitray for all $s\in S$
2. Policy Evaluation
   repeat
   ​ ​ $\Delta \leftarrow 0$
   ​ ​ for each $s\in S$
   ​ ​ ​ $v\leftarrow V(s)$
   ​ ​ ​ $V(s)\leftarrow {\sum }_{s^{\prime },r}p(s^{\prime },r|s,\pi (s))[r+\gamma \cdot V(s)]$
   ​ ​ ​ $\Delta \leftarrow max(\Delta ,|v-V(s|)$
   ​ ​ end for
   until $\Delta <\theta$ , $\theta$ is a small positive number

对于每个状态s不断迭代直至状态稳定，记录其价值

3. Policy Improvement
   ​ $policystable\leftarrow true$
   for each $s\in S$
   ​ ​ $a\leftarrow \pi (s)$ #当前策略（动作）
   ​ ​ $\pi (s)\leftarrow argma{x}_a{\sum }_{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma \cdot V(s^{\prime })]$ #选择下一个策略，基于2
   ​ ​ if $a̸=\pi (s)$ then #如果状态没有稳定继续迭代
   ​ ​ ​ $policystable\leftarrow false$
   ​ ​ end if
   end for
   if $policystable$, then #如果状态稳定
   ​ ​ stop and return $V$ and $\pi$
   else
   ​​  go to 2
   end if

---

6 价值迭代与策略迭代

• Policy Iteration 中两个步骤都有Policy直接关联，首先利用一个给定的Policy，通过迭代方法得到其Value Function; 接下来利用这个价值函数不断迭代各种Policy，最终确定最佳的Policy。
• Value Iteration 不与Policy直接打交道，这种方法当value最后收敛，也相当于得到最优的policy。
• 两者在迭代计算中都需要知道状态转移矩阵和奖励函数，即P与R。
• 如果已知转移概率矩阵P被称为获得了Model，通过模型获取最佳Policy的方法称为Model-based方法。

然而，现实场景下概率转移矩阵很难获得，所以人们需要采用Model-Free的方法来找到最佳Policy。譬如Q-learning，Policy Gradient，Actor-Critic。

参考文献

​ 强化学习笔记