周志华 强化学习 Bellman等式推导

**爱学习的泠语啊

关于强化学习这部分的知识讲解我就不搬书上的啦，这里主要分享一下一些公式的推导过程，希望能和大家共同进步~

**

第16章 强化学习 公式16.7 Bellman等式推导

**

$V_T^{\pi }(x)=E_{\pi }[\frac{1}{T}{\sum }_{t=1}^T{r}_t|x=x_0]$

$=E_{\pi }[\frac{1}{T}{r}_1+\frac{T-1}{T}\frac{1}{T-1}{\sum }_{t=2}^T{r}_t|x_0=x]$ 提取出$r_1$，相应的后面求和从t=2开始

下面是重点！！全概率展开！！

对于离散空间，求取期望有如下公式：

$E(x_i)={\sum }_{i=1}^{n}P(x_i)f(x_i)$

在本公式中$f(x_i)$为$r_1$，即在状态x下执行动作a转移到状态x’所获得的奖励，也即后面的 $R_{x\to x^{\prime }}^a$

求取其概率分两步展开：

第一步，在当前状态x下执行动作a的概率，即：$\pi (x,a)$

第二步，在当前状态x执行动作a的情况，由状态x转移到x’的概率，即：$P_{x\to x^{\prime }}^a$

好啦，r1的期望现在就可以由全概率展开求取啦：

$E_{\pi }(\frac{1}{T}{r}_1)={\sum }_{a\in A}\pi (x,a){\sum }_{x^{\prime }\in X}{P}_{x\to x^{\prime }}^a(\frac{1}{T}{R}_{x\to x^{\prime }}^a)$ 其中，$R_{x\to x^{\prime }}^a$即为r1。

接下来求取后面一部分的期望，由于MDP具有马尔科夫性质，因此后面从t=2开始求取累积奖赏可改为从t=1开始求取，相应的累

积上标变为T-1，并将初始状态改为x’，此处x’，下一时刻状态的概率和前面所述一样，因此求取期望的全概率展开也就一样啦。

这也就是公式中可以把 ${\sum }_{a\in A}\pi (x,a){\sum }_{x^{\prime }\in X}{P}_{x\to x^{\prime }}^a$ 作为同类项提出来的原因啦。

这样我们就得到了最终的Bellman公式：

$V_T^{\pi }(x)={\sum }_{a\in A}\pi (x,a){\sum }_{x^{\prime }\in X}{P}_{x\to x^{\prime }}^a(\frac{1}{T}{R}_{x\to x^{\prime }}^a+\frac{T-1}{T}{V}_{T-1}^{\pi }(x^{\prime }))$