强化学习复现笔记(1)基本概念

摘要： 通过强化学习走直线理解基本概念。一条线上包含起点和终点共有6个格子，起点在左终点在右，相当于1维迷宫。各个概念的定义见文末参考链接，本文计算走直线中各变量的具体值来帮助理解基本概念和贝尔曼最优方程。对应参考链接[2]的前3章。

基本概念

  智能体要从最左边的第一个格子走到最右边的终点一次走一步。把6个格子分别记作状态 $s_1,s_2,\cdots ,s_6$，动作有两种，分别记作 $L$ 和 $R$。如果不特别说明，一般随机变量为大写字母，具体数值为小写字母。$L$ 和 $R$ 表示动作，不是随机变量。假设智能体已经学到了最优的策略，并且在每一步行动时，以 $0.9$ 的概率选择最优策略（也就是往右），以 $0.1$ 的概率选择随机策略。
  策略函数 (Policy Function) 在一个状态 $s_i$ 处采取每个动作 $a_i$ 的概率 $\pi (a|s)$。简单记作 $\pi (L|s)=0.1,\pi (R|s)=0.9$，严谨写法为
$$\{\begin{array}{ll}\pi (A=L|S=s_i)=0.1,\pi (A=R|S=s_i)=0.9,& i\ne 1\\ \pi (A=L|S=s_i)=0,\pi (A=R|S=s_i)=1,& i=1\end{array}$$
如果在起点处往左走，环境给的反馈是智能体保持在起点不动。此处的下标 $i$ 与后面表示回合数的 $t$ 的区别在于，这个例子里的 $i$ 是有限的，最多只有6个，而 $t$ 的数量可以无限。
  奖励 (Reward）： 智能体在状态 $s_i$ 处采取动作 $a_i$ 后，环境给的奖励 $r(s,a)$。$r(s=s_5,a=R)=6$（不取1是为了便于区分），其余的 $r(s,a)$ 都是0。
  (折扣)回报（Return）： 从第 $t$ 个回合开始计算的每个回合奖励的总和
$$U_t=R_t+\gamma R_{t+1}+{\gamma }^2{R}_{t+2}+\cdots$$
下面都能达到终点的的几个动作和对应的回报分别为

• RRRRR: $0+0\gamma +0{\gamma }^2+0{\gamma }^3+6{\gamma }^4$
• RRRLRRR: $0+0\gamma +0{\gamma }^2+0{\gamma }^3++0{\gamma }^4+0{\gamma }^5+6{\gamma }^6$
• RLRRRRLRR: $0+0\gamma +0{\gamma }^2+0{\gamma }^3++0{\gamma }^4+0{\gamma }^5+0{\gamma }^6++0{\gamma }^7+6{\gamma }^8$

  状态价值函数（State-Value Function）： 在状态 $s_i$ 处，采用当前策略 $\pi$ 时回报的期望。$V_{\pi }(s)=\mathbb{E}(U_t|s=s_i)$。
  动作价值函数（Action-Value Function）： 在状态 $s_i$ 处采取动作 $a_i$ 后，继续保持当前的总体策略 $\pi$ 时（也就是以 $0.9$ 的概率选择最优策略），回报的期望。$Q_{\pi }(s,a)=\mathbb{E}(U_t|s=s_i,a=a_i)$。
  最优动作价值函数（Optimal Action-Value Function）： 总是选择最优策略时回报的期望。$Q^{\ast }(s,a)=\mathbb{E}(U_t|s=s_i,a=a_i)$
  状态价值函数需要用到贝尔曼方程（不是参考文献[1]里的最优贝尔曼方程），下面的推导过程参考文献[2]（P26式2.5），并假设状态转移函数 $p(s^{\prime }|s,a)$ 里不包含随机性。
$$V_{\pi }(s)=\mathbb{E}(U_t|s)=\mathbb{E}(R_t|s)+\gamma \mathbb{E}(U_{t+1}|s)$$
其中 $\mathbb{E}(R_t|s)=r_t(s)$ 表示在状态 $s$ 时的期望奖励。另外用 $s^{\prime }$ 表示 $s$ 的下一个状态。状态 $s$ 时第 $t+1$ 个回合的期望奖励 $\mathbb{E}(U_{t+1}|s)$ 应该等于下一个回合（即 $t+1$ 个回合）时所有状态（$s_i^{\prime }=s_{i-1}$ 或 $s_i^{\prime }=s_{i+1}$）的期望奖励总和，即（第2个等号后面代入实际值便于理解）
$$\begin{array}{rl}\mathbb{E}(U_{t+1}|s)=& \sum _{s^{\prime }}\mathbb{E}(U_{t+1}|s,s^{\prime })\mathbb{P}(s^{\prime }|s)=0.9\mathbb{E}(U_{t+1}|s,s_1)+0.1\mathbb{E}(U_{t+1}|s,s_2)\\ =& \sum _{s^{\prime }}\mathbb{E}(U_{t+1}|s^{\prime })\mathbb{P}(s^{\prime }|s)=0.9\mathbb{E}(U_{t+1}|s_1)+0.1\mathbb{E}(U_{t+1}|s_2)\\ =& V_{\pi }(s^{\prime })=0.9V_{\pi }(s_1)+0.1V_{\pi }(s_2)\end{array}$$
所以
$$\begin{array}{rl}{V}_{\pi }(s)=& \mathbb{E}(R_t|s)+\gamma \mathbb{E}(U_{t+1}|s)\\ =& r(s)+\gamma V_{\pi }(s^{\prime })\end{array}$$
其中 $\mathbb{E}(U_{t+1}|s,s^{\prime })=\mathbb{E}(U_{t+1}|s^{\prime })$ 成立是因为马尔可夫过程。这里我有个疑问，倒立摆是不是马尔可夫过程？如果倒立摆的奖励函数仅与摆的高度也就是摆的角度有关，那下一时刻摆的角度不仅取决于当前时刻摆的角度，也取决于当前时刻的角速度或者说是上一时刻的角度（当前时刻的角速度可以认为是取决于当前时刻和上一时刻的摆角），那是否可以说倒立摆不是马尔可夫过程？
  类似地（同样暂时忽略状态转移函数 $p(s^{\prime }|s,a)$ 中的随机性），
$$\begin{array}{rl}Q(s,a)=& \mathbb{E}(U_t|s,a)\\ =& \mathbb{E}(R_t|s,a)+\gamma \mathbb{E}(U_{t+1}|s,a)\\ =& r(s,a)+\gamma \mathbb{E}(U_{t+1}|s^{\prime })\\ =& r(s,a)+\gamma v(s^{\prime })\end{array}$$
由此可以得到 $V_{\pi }(s)$ 和 $Q_{\pi }(s,a)$ 之间的关系
$$V_{\pi }(s)=\sum _a\pi (a|s)Q_{\pi }(s,a)$$
直观理解就是，【状态 $s$ 处的期望奖励 $V_{\pi }(s)$】 = 【$s$ 处向左的期望奖励 $Q_{\pi }(s,L)$】 $\times$ 【向左的概率 $\pi (L|s)$】 + 【$s$ 处向右的期望奖励 $Q_{\pi }(s,R)$】 $\times$ 【向右的概率 $\pi (R|s)$】。

各个变量的具体值

  在这一个例子中，最优动作价值函数就是一直往右走，比较好计算。
$$\begin{array}{rl}& Q^{\ast }(s=s_1,a=R)=6{\gamma }^4\\ & Q^{\ast }(s=s_2,a=R)=6{\gamma }^3\\ & ⋮\\ & Q^{\ast }(s=s_5,a=R)=6\end{array}$$
  下面计算在这个走直线的例子中每个状态的期望奖励 $r(s)$，也就是向左走的奖励乘概率加上向右走的奖励乘概率：
$$r(s)=\mathbb{E}(R_t|s)=\sum _a\mathbb{P}(a|s)r(s,a)=0.9r(s,R)+0.1r(s,L)$$
于是可以算出
$$\begin{array}{rl}& r(s_5)=0.9\cdot 6+0.1\cdot 0=5.4\\ & r(s_4)=r(s_3)=r(s_2)=r(s_1)=0\end{array}$$
此时每个状态的状态价值函数为 （已知 $V_{\pi }(s_6)=6$）
$$\begin{array}{rl}& V_{\pi }(s_5)=r(s_5)+\gamma (0.9\cdot 6+0.1V_{\pi }(s_4))\\ & V_{\pi }(s_4)=r(s_4)+\gamma (0.9V_{\pi }(s_5)+0.1V_{\pi }(s_3))\\ & V_{\pi }(s_3)=r(s_3)+\gamma (0.9V_{\pi }(s_4)+0.1V_{\pi }(s_2))\\ & V_{\pi }(s_2)=r(s_2)+\gamma (0.9V_{\pi }(s_3)+0.1V_{\pi }(s_1))\\ & V_{\pi }(s_1)=r(s_1)+\gamma (0.9V_{\pi }(s_2)+0.1V_{\pi }(s_1))\end{array}$$
设 $\gamma =0.8$，可以解得
$$\begin{array}{rl}& V_{\pi }(s_5)=4.602433406284881\\ & V_{\pi }(s_4)=3.5304175785610044\\ & V_{\pi }(s_3)=2.708319075448633\\ & V_{\pi }(s_2)=2.080230236058876\\ & V_{\pi }(s_1)=1.6280062716982504\end{array}$$
求解的python代码见文末代码[1]。动作价值函数可以采用类似的方法计算。

贝尔曼最优方程

  假设不知道最优策略，也就是现在还没有任何策略，希望能一步直接算出最优策略。根据贝尔曼最优方程
$$v(s)=\underset{\pi }{\max }\sum _a\pi (a|s)q(s,a)$$
其中动作价值函数
$$q(s,a)=r(s,a)+\gamma v(s^{\prime })$$
  按照分配权重的思想，为了使几个变量的加权和最大，则最大的变量的权重是1，其余的都是0，所以最优策略和最优状态价值函数满足（进一步的解释见参考链接[2]的P42例3.2）
$$\begin{array}{rl}{\pi }^{\ast }(a|s)=& \underset{\pi }{\mathrm{argmax}}\pi (a|s)q^{\ast }(s,a)\\ v^{\ast }(s)=& \underset{\pi }{\max }\sum _a\pi (a|s)q(s,a)\\ =& \underset{a}{\max }q(s,a)\\ =& \underset{a}{\max }[r(s,a)+\gamma v(s^{\prime })]\end{array}$$
  下面代入走直线的例子。已知只有 $r(s_5,R)=6$，也就是说只有在状态 $s_5$ 处往右走的动作价值函数为6，其它函数值都是0。
$$\begin{array}{rl}v(s_1)=& \max [r(s_1,L)+\gamma v(s_1),r(s_1,R)+\gamma v(s_2)]=\gamma \max [v(s_1),v(s_2)]\\ v(s_2)=& \max [r(s_1,L)+\gamma v(s_1),r(s_1,R)+\gamma v(s_3)]=\gamma \max [v(s_1),v(s_3)]\\ & ⋮\end{array}$$
即
$$\begin{array}{rl}v(s_1)=& \gamma \max [v(s_1),v(s_2)]\\ v(s_2)=& \gamma \max [v(s_1),v(s_3)]\\ v(s_3)=& \gamma \max [v(s_2),v(s_4)]\\ v(s_4)=& \gamma \max [v(s_3),v(s_5)]\\ v(s_5)=& \gamma \max [v(s_4),6]\end{array}$$
可以写作
$$v=f(v)$$
$f$ 可以证明是个压缩映射(见参考链接[2]的P47定理2)，从 $v=0$ 出发开始迭代，同样设 $\gamma =0.8$，解得
$$\begin{array}{rl}v(s_1)=& 1.96608\\ v(s_2)=& 2.4576\\ v(s_3)=& 3.072\\ v(s_4)=& 3.84\\ v(s_5)=& 4.8\end{array}$$
求解的python代码见文末代码[2]。
状态 $s_1$ 时的最优策略为
$$\begin{array}{rl}& \pi (a|s_1)=\{\begin{array}{ll}1,& a=a^{\ast }\\ 0,& a\ne a^{\ast }\end{array}\\ & a^{\ast }=\underset{a}{\mathrm{argmax}}q(s_1,a)=R\end{array}$$
或者写成
$$\begin{array}{rl}\pi (a|s_1)=& \underset{\pi }{\mathrm{argmax}}\pi (a|s_1)q^{\ast }(s_1,a)\\ =& \underset{\pi }{\mathrm{argmax}}\pi (a|s_1)q(s_1,R)\\ =& \underset{\pi }{\mathrm{argmax}}[v(s_1),v(s_2)]=R\end{array}$$
其中的 $q^{\ast }(s_1,a)=q(s_1,R)$，因为
$$\begin{array}{rl}q(s_1,L)=& r(s_1,L)+\gamma v(s_1)=1.96608\gamma \\ q(s_1,R)=& r(s_1,R)+\gamma v(s_2)=2.4576\gamma \\ q(s_1,R)>& q(s_1,L)\end{array}$$
其它状态类似。并且需要注意的是策略在每次迭代时都更新，此处只在迭代结束后更新。

参考

1. 王树森 张志华，《深度强化学习（初稿）》
2. Mathematical Foundation of Reinforcement Learning -GitHub

附代码

代码[1]. 求解$ϵ$-贪婪最优策略的状态价值函数

import numpy as np
A = np.array([
    [0.0, 0.08, 0.0, 0.0, 0.0],
    [0.72, 0.0, 0.08, 0.0, 0.0],
    [0.0, 0.72, 0.0, 0.08, 0.0],
    [0.0, 0.0, 0.72, 0.0, 0.08],
    [0.0, 0.0, 0.0, 0.72, 0.08]])
B = np.eye(5) - A
C = np.array([4.32, 0, 0, 0, 0])
D = np.matmul(np.linalg.inv(B) , C.T)
for n in range(5):
    print(D[n])

代码[2]. 迭代法求解贝尔曼最优方程

import numpy as np
def fx(x):
    y = np.zeros(5)
    y[0] = 0.8 * max(x[0], x[1])
    y[1] = 0.8 * max(x[0], x[2])
    y[2] = 0.8 * max(x[1], x[3])
    y[3] = 0.8 * max(x[2], x[4])
    y[4] = 0.8 * max(x[3], 6)
    return y
vold = np.zeros(5)
while 1:
    vnew = fx(vold)
    sumv = sum(vnew - vold)**2
    if (sumv < 1e-6):
        break
    vold = vnew
print(vold)