【强化学习笔记】2 马尔可夫决策过程

【深入浅出强化学习原理入门学习笔记】2.马尔可夫决策过程

$马尔科夫性$：$P[S_{t+1}|S_t]=P[S_{t+1}|S_1,S_2,S_3,...,S_t]$ 即系统的下一个状态只与当前状态有关，与之前状态无关。

$马尔科夫过程$：随机变量序列中的每个状态都是马尔科夫的，是一个二元组$(S,P)$, $S$为有限状态集, $P$是状态转移概率。

$马尔可夫决策过程$：将动作（策略）和回报考虑在内的马尔科夫过程，用元组表示是$(S,A,P,R,\gamma )$, $S$为有限状态集, $A$为有限动作集，$P$是状态转移概率（包含动作），$R$为回报函数，$\gamma$为回报折扣因子。

$强化学习的目标$是给定一个马尔科夫决策过程，寻找最优策略，这里的策略是指$从状态到行动的映射$，即：$\pi (a|s)=p[A_t=a|S_t=s]$，
意思为：策略$\pi$在每一个状态$s$下指定一个动作概率，如果是一个确定的动作，该策略为确定性策略。

强化学习的策略一般是随机策略，智能体尝试其他动作以便找到更好的策略，所以引入概率因素。既然策略是随机的策略，那么状态变化序列可能不一样，因此累积回报也是随机的。

在给定的策略$\pi$的作用下，可以计算$累积回报$$G_t$,
$G_t=R_{t+1}+\gamma R_{t+2}+....={\sum }_{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}$
如果从某一状态$s_1$出发，可以得到不同的序列，然后得到不同的累积回报值。

为了评估策略$\pi$作用下状态$s$的价值，通过期望描述，定义为$状态值函数$，表示是：
${\upsilon }_{\pi }(s)=E_{\pi }[{\sum }_{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s]$，
基本意思是策略$\pi$作用下状态$s$后所有回报的加权和的均值。

在这里考虑的是马尔科夫决策过程，因此往往是评估在策略$\pi$和状态$s$下，某个行为$a$的价值，定义为$状态-行为值函数$，表示是
$q_{\pi }(s,a)=E_{\pi }[{\sum }_{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s,A_t=a]$，

可以推导出状态值函数和状态行为值函数的贝尔曼方程为：
${\upsilon }_{\pi }(s)=E_{\pi }[R_{t+1}+\gamma \upsilon (S_{t+1})|S_t=s]$
$q_{\pi }(s,a)=E_{\pi }[R_{t+1}+\gamma q(S_{t+1},A_{t+1})|S_t=s,A_t=a]$

$状态值函数与状态-行为值函数的关系$为：
（1）$\upsilon_\pi(s)=\sum \limits_{a\in A} \pi(a|s) q_\pi(s,a) $
这个式子的意思是：在状态$s$处的值函数等于采取策略$\pi$时，所有状态-行为值函数的总和。

（图形解释）
(2) $q_{\pi }(s,a)=R_s^a+\gamma \sum _{s^{{}^{\prime }}\in S}{P}_{s{s}^{{}^{\prime }}}^a\upsilon (s^{{}^{\prime }})=R_s^a+\gamma \sum _{s^{{}^{\prime }}\in S}{P}_{s{s}^{{}^{\prime }}}^a\sum _{a^{{}^{\prime }}\in A}\pi (s^{{}^{\prime }},a^{{}^{\prime }})q_{\pi }(s^{{}^{\prime }},a^{{}^{\prime }})$
这个式子的意思是：在状态$s$处采取行为$a$的状态-行为值函数等于回报加上后续状态的值函数。

将式（2）带入式（1）
${\upsilon }_{\pi }(s)=\sum _{a\in A}\pi (a|s)(R_s^a+\gamma \sum _{s^{{}^{\prime }}\in S}{P}_{s{s}^{{}^{\prime }}}^a\upsilon (s^{{}^{\prime }})）$
也就是说在状态$s$处的值函数${\upsilon }_{\pi }(s)$,可以利用后续状态的值函数$\upsilon (s^{{}^{\prime }})$来表示。

在所有策略中，使得值函数值最大的策略称之为最优策略，同时对应着最优状态值函数和最优状态-行为值函数，表示如下：
${\upsilon }^{\ast }(s)=\underset{\pi }{\max }{v}_{\pi }(s)$
$q^{\ast }(s,a)=\underset{\pi }{\max }{q}_{\pi }(s,a)$

可以得到最优状态值函数和最优状态-行为值函数的贝尔曼方程，表示如下：
${\upsilon }^{\ast }(s)=\underset{a}{\max }{R}_s^a+\gamma \sum _{s^{{}^{\prime }}\in S}{P}_{s{s}^{{}^{\prime }}}^a{\upsilon }^{\ast }(s^{{}^{\prime }})$
$q^{\ast }(s,a)=R_s^a+\gamma \sum _{s^{{}^{\prime }}\in S}{P}_{s{s}^{{}^{\prime }}}^a\underset{a^{\prime }}{\max }{q}^{\ast }(s^{{}^{\prime }},a^{{}^{\prime }})$

如果知道最优状态-行为值函数，最优策略${\pi }^{\ast }(a|s)$可以通过直接最大化$q^{\ast }(s,a)$确定，即：
$\pi^(a|s)= \begin{cases} 1 \ if a=\mathop{\arg\max}_\limits{a} \ q^(s,a) \ 0 \ others \end{cases} $

这个策略为即为$贪婪策略$,仅仅考虑当前最优，是确定性策略。

常见的概率分布都是常见的随机策略。

1. $贪婪策略$,这个是确定性策略
2. $ϵ-greedy策略$
   $\pi^(a|s)= \begin{cases} 1-\epsilon+\epsilon/(|A(s)|) \ if a=\mathop{\arg\max}_\limits{a} \ q^(s,a) \ \epsilon/(|A(s)|) \ others \end{cases} $
3. $高斯策略$
4. $玻尔兹曼分布$

参考文献

1. 深入浅出强化学习原理入门

   ---

欢迎关注微信公众号：AITBOOK