贝尔曼方程详尽推导（无跳步|带图）

贝尔曼方程推导（无跳步）

 这两天学习MDP，对于贝尔曼方程有很大的困惑，而且找了很多资料都没有详尽的推导，我这里把详尽推导写出来，希望能帮到正在学习的同学们。
$$\begin{array}{rl}{V}_{\pi }(s)& =E[G_t|S_t=s]\\ & =E[R_{t+1}+\gamma G_{t+1}|S_t=s\text{St=s}{S}_t=s]\\ & =E[R_{t+1}+\gamma V_{\pi }(s^{\prime })|s]\end{array}$$
 但是$V_{\pi }(s^{\prime })=E[G_{t+1}|S_{t+1}=s^{\prime }\text{St+1=s′}{S}_{t+1}=s^{\prime }]$，上面这个最后一步到底是怎么出现的？？
 下面我在推导这个贝尔曼方程时会顺带解答这个疑惑。
#------------------------------------------------------------------------------------------------#
 值函数给出了从状态$s$出发，遵循策略$\pi$会得到的期望回报，用于评估一个策略的好坏。贝尔曼方程给出了值函数的计算方法（迭代/递归）。
 从状态值函数的表达式可以发现，$t$时刻计算的值函数必然和$t+1$时刻的值函数存在关系，因为$G_t$必然包含着$G_{t+1}$，所以应该是可以找到前后时刻值函数的递归关系的。就像隐马尔科夫模型中的前向变量、后向变量，前后时刻存在递归关系。
 值函数前后时刻之间的递归关系得到的就是贝尔曼方程了：
状态值函数：
$$\begin{array}{rl}{V}_{\pi }(s)& =E[G_t|S_t=s]\\ & =E[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+1+k}|S_t=s]\\ & =E[R_{t+1}+\gamma \sum _{k=0}^{\infty }{\gamma }^k{R}_{t+2+k}|S_t=s]\\ & =E[R_{t+1}+\gamma G_{t+1}|S_t=s]\\ & =E[R_{t+1}|S_t=s]+\gamma E[G_{t+1}|S_t=s]\\ & =\sum _{R_{t+1}}{R}_{t+1}P(R_{t+1}|S_t=s)\\ & +\gamma \sum _{G_{t+1}}{G}_{t+1}P(G_{t+1}|S_t=s)\end{array}$$
 我们用$s$代指$S_t$，$a$代指$A_t$，用 $s^{\prime }$ 代指 $S_{t+1}$，即当前时刻的状态为 $s$，当前采取的动作是$a$，下一时刻状态为$s^{\prime }$。注意，$s,a,s^{\prime }$都是有多种可能取值的。而且这里时刻$t$只是一种泛指，只是为了指示$s,s^{\prime }$是前后关系。
  $P(R_{t+1}|S_t=s)$–>需要在$S_t/s$条件下，采取动作$A_t/a$ ，随后转移到状态$S_{t+1}/s^{\prime }$，并随即确定性地获得奖励$R_{t+1}$（用$R_{s{s}^{\prime }}^a$表示）。$\sum _{R_{t+1}}$指代所有情形的$R_{t+1}/R_{s{s}^{\prime }}^a$，对应所有情形的动作$A_t/a$、$S_{t+1}/s^{\prime }$。
  $P(G_{t+1}|S_t=s)$–>需要在$S_t/s$条件下采取动作$A_t/a$，随后转移到状态$S_{t+1}/s^{\prime }$，然后需要在状态$S_{t+1}/s^{\prime }$条件下依概率产生$G_{t+1}$。$\sum _{G_{t+1}}$同理

$$\begin{array}{rl}& (接上式)\\ & =\sum _a\sum _{s^{\prime }}{R}_{s{s}^{\prime }}^{a}P(a|s)P(s^{\prime }|s,a)\\ & +\gamma \sum _{G_{t+1}}\sum _a\sum _{s^{\prime }}{G}_{t+1}P(a|s)P(s^{\prime }|s,a)P(G_{t+1}|s^{\prime })\end{array}$$
这里，$\sum _{G_{t+1}}{G}_{t+1}P(G_{t+1}|s^{\prime })=E[G_{t+1}|s^{\prime }]=V_{\pi }(s^{\prime })$。用$\pi (a|s)$表示$P(a|s)$，$P_{s{s}^{\prime }}^a$表示$P(s^{\prime }|s,a)$
$$\begin{array}{rl}& (接上式)\\ & =\sum _a\sum _{s^{\prime }}{R}_{s{s}^{\prime }}^a\pi (a|s)P_{s{s}^{\prime }}^a\\ & +\gamma \sum _a\sum _{s^{\prime }}\pi (a|s)P_{s{s}^{\prime }}^a{V}_{\pi }(s^{\prime })\\ & =\sum _a\sum _{s^{\prime }}\pi (a|s)P_{s{s}^{\prime }}^a(R_{s{s}^{\prime }}^a+\gamma V_{\pi }(s^{\prime }))\end{array}$$
至此，我们就得到了贝尔曼方程其中的一个，另一个是反映动作值函数前后时刻递归关系的。
补充一下
$$\begin{array}{rl}\sum _a\sum _{s^{\prime }}\pi (a|s)P_{s{s}^{\prime }}^a{V}_{\pi }(s^{\prime })& =\sum _a\sum _{s^{\prime }}P(a|s)P(s^{\prime }|s,a)V_{\pi }(s^{\prime })\\ & =E[V_{\pi }(s^{\prime })|s]\end{array}$$
因为$E[V_{\pi }(s^{\prime })|s]$–>需要在状态$s$条件下，采取动作$a$，随后转移到状态$s^{\prime }$，然后得到$V_{\pi }(s^{\prime })$

所以才会出现：
$$\begin{array}{rl}{V}_{\pi }(s)& =E[G_t|S_t=s]\\ & =E[R_{t+1}+\gamma G_{t+1}|S_t=s]\\ & =E[R_{t+1}+\gamma V_{\pi }(s^{\prime })|s]\end{array}$$
这样就解答了开头的疑惑~
动作值函数的递归关系同理，就不写了。
有帮助的话点个赞啊~~