强化学习—(最优)贝尔曼方程推导以及对(最优)动作价值函数、(最优)状态价值函数的理解

强化学习中首先要明白(折扣)回报的定义：
$U_t=R_t+\gamma R_{t+1}+{\gamma }^2{R}_{t+2}+......{\gamma }^n{R}_n$
这里的 $R$ 是 reward:奖励，$R_t$与当前的状态$S_t$、当前的动作$A_t$、以即$S_{t+1}$相关(或者简单认为$R_t$只与当前的状态$S_t$、当前的动作$A_t$相关)，也就是说：
$R_t=r(S_t,A_t,S_{t+1})$，这里的大写字母代表具有随机性，小写字母表示已经被观测，没有随机性。

动作价值函数 $Q_{\pi }(s_t,a_t)$与当前的策略函数 $\pi$ 、当前动作 $a_t$ 、当前的状态 $s_t$有关，动作价值函数是回报的期望$Q_{\pi }(s_t,a_t)=E_{S_{t+1},A_{t+1},...,S_n,A_n}[U_t|S_t=s_t,A_t=a_t]$，也就是说对后续的$S_{t+1},A_{t+1},...,S_n,A_n$求期望，消除了这些状态和动作的随机性。

状态价值函数 $V_{\pi }(s_t)$ 与当前的策略函数 $\pi$ 、当前的状态 $s_t$有关，是用来评估，在当前策略 $\pi$ 下，状态 $s_t$的好坏，算期望消除了动作的随机性。
$V_{\pi }(s_t)=\sum _{a\in \mathcal{A}}\pi (a|s_t)\ast Q_{\pi }(s_t,a_t)$

最优动作价值函数 $Q_{\ast }(s_t,a_t)$ 表示当前的策略是最优的情况下，在状态$s_t$做动作$a_t$能得到的价值，这个价值一定是各种策略下在状态$s_t$做动作$a_t$能得到的价值中最高的，因为我们的策略是最优的。$Q_{\ast }(s_t,a_t)={\max }_{\pi }{Q}_{\pi }(s_t,a_t)$

最优状态价值函数 $V_{\ast }(s_t)$ ，$V_{\ast }(s_t)={\max }_a{Q}_{\ast }(s_t,a_t)$，$V_{\ast }(s_t)$表示在最优策略下，最高的最优动作价值$Q_{\ast }(s_t,a_t)$

对动作价值函数、状态价值函数的理解
可以看这篇博客强化学习中状态价值函数和动作价值函数的理解，讲的很好，通俗易懂

贝尔曼方程1
$$Q_{\pi }(s_t,a_t)=E_{S_{t+1},A_{t+1}}[R_t+\gamma Q_{\pi }(S_{t+1},A_{t+1})|S_t=s_t,A_t=a_t]$$
证明:

1. $U_t=R_t+\gamma R_{t+1}+{\gamma }^2{R}_{t+2}+......{\gamma }^n{R}_n$
2. $U_t=R_t+U_{t+1}$
3. $Q_{\pi }(s_t,a_t)=E_{S_{t+1}:,A_{t+1}:}[U_t|S_t=s_t,A_t=a_t]$这里用：来做省略
   将2代入3中，得
4. $Q_{\pi }(s_t,a_t)=E_{S_{t+1}:,A_{t+1}:}[R_t+U_{t+1}|S_t=s_t,A_t=a_t]$
   拆开式子为两部分
5. $E_{S_{t+1}:,A_{t+1}:}[R_t|S_t=s_t,A_t=a_t]$ 和 $E_{S_{t+1}:,A_{t+1}:}[U_{t+1}|S_t=s_t,A_t=a_t]$
6. 其中$E_{S_{t+1}:,A_{t+1}:}[R_t|S_t=s_t,A_t=a_t]$，$R_t$只与当前的状态$S_t$、当前的动作$A_t$、以即$S_{t+1}$相关，所以，可转化为$E_{S_{t+1}}[R_t|S_t=s_t,A_t=a_t]$
7. $E_{S_{t+1}:,A_{t+1}:}[U_{t+1}|S_t=s_t,A_t=a_t]$=
8. =$E_{S_{t+1},A_{t+1}}[E_{S_{t+2}:,A_{t+2}:}[U_{t+1}|S_{t+1},A_{t+1}]|S_t=s_t,A_t=a_t]$
9. =$E_{S_{t+1},A_{t+1}}[Q_{\pi }(S_{t+1},A_{t+1})|S_t=s_t,A_t=a_t]$
   将6、9带入到4中可得
   $$Q_{\pi }(s_t,a_t)=E_{S_{t+1},A_{t+1}}[R_t+Q_{\pi }(S_{t+1},A_{t+1})|S_t=s_t,A_t=a_t]$$
   证明完毕

贝尔曼方程2
因为$V_{\pi }(S_{t+1})=E_{A_{t+1}}Q(S_{t+1},A_{t+1})$
所以上式贝尔曼方程1可以转换为
$$Q_{\pi }(s_t,a_t)=E_{S_{t+1}}[R_t+V_{\pi }(S_{t+1})|S_t=s_t,A_t=a_t]$$

贝尔曼方程3
因为$V_{\pi }(S_t)=E_{A_t}Q(S_t,A_t)$
所以上式贝尔曼方程2可以转换为
$$V_{\pi }(s_t)=E_{S_{t+1},A_t}[R_t+V_{\pi }(S_{t+1})|S_t=s_t,A_t=a_t]$$

最优贝尔曼方程
$$Q_{\ast }(s_t,a_t)=E_{S_{t+1}\sim p(\cdot |s_t,a_t)}[R_t+\gamma \ast ma{x}_{A\in \mathcal{A}}{Q}_{\ast }(S_{t+1},A)|S_t=s_t,A_t=a_t]$$
${\pi }^{\ast }=argma{x}_{\pi }{Q}_{\pi }(s,a)$
由贝尔曼方程可得
$$Q_{{\pi }^{\ast }}(s_t,a_t)=E_{S_{t+1},A_{t+1}}[R_t+Q_{{\pi }^{\ast }}(S_{t+1},A_{t+1})|S_t=s_t,A_t=a_t]$$
$Q_{{\pi }^{\ast }}(s_t,a_t)=Q_{\ast }(s_t,a_t)$，可得
$$Q_{\ast }(s_t,a_t)=E_{S_{t+1},A_{t+1}}[R_t+Q_{\ast }(S_{t+1},A_{t+1})|S_t=s_t,A_t=a_t]$$
动作$A_{t+1}=argma{x}_A{Q}_{\ast }(S_{t+1},A)$是状态$S_{t+1}$的确定函数(最好的那个动作)，所以
$$Q_{\ast }(s_t,a_t)=E_{S_{t+1}\sim p(\cdot |s_t,a_t)}[R_t+\gamma \ast ma{x}_{A\in \mathcal{A}}{Q}_{\ast }(S_{t+1},A)|S_t=s_t,A_t=a_t]$$