强化学习(1)-Daviad Silver强化学习课程脉络整理

1.lecture1 introduction

1.1 强化学习简介

强化学习是机器学习的一个分支，没有监督信号判断学习的好坏，只有reward 信号引导学习过程。

强化学习的目标是：学习一个决策策略，使得agent与环境交互所获得的累计奖励最大。

强化学习基本要素
Agent	决策智能体，主要完成在环境中处于某一状态下的动作决策，策略是可以学习的。
Reward-$R_t$	t时刻的奖励，标量，用于反映agent t时刻动作的优劣（长期奖励的一个衡量）
Enviroment	环境，接收Agent的动作，依据物理特性状态转换（转换是不受Agent控制的），并反馈给agent 一个$R_t$
State	状态信息：环境状态(一般不可用)，agent 状态(强化学习算法可以使用的状态)

老鼠训练的例子：agent状态不表示不同，依据统计规律得出的预测也不同补图
环境状态和agent 状态的区别：

Agent 主要成分
state	agent 状态-强化学习算法可以使用的状态，
action	agent的在每一个状态下能够执行的动作(走子，浇水)
policy	状态到动作的映射：确定策略$a=\pi (s)$、不确定策略$\pi (a\Vert s)=P[A=a\Vert S_t=s]$
value function	评价当前状态的优劣(对未来奖励的预测)，是基于策略的
model	状态转移概率：$P_{s,s^{\prime }}^a=P[S_{t+1}\Vert S_t=s,A_t=a]$、奖励：$R_s^a=E[R_{t+1}\Vert S_t=s,A_t=a]$

1.2 强化学习类别

分类1

value based	无策略函数，策略由价值函数$V_{\pi }$ 间接得到(贪心策略？)
policy based	动作由策略函数决定，没有$V_{\pi }$
Actor-critic	策略函数与价值函数同时存在，两者结合

分类2

model based	环境模型已知道，状态转移概率，奖励函数
model free	环境模型未知

model 是环境物理规律的建模，model常常不事先已知，需要agent基于历史信息对model进行建模，这种情况下的强化学习为 model free learning。

1.3 强化学习的主要问题

主要问题1
学习	环境未知，agent
规划

主要问题2
探索
利用

主要问题3
预测	给定MDP+策略 求状态价值
控制	给定MDP，求最优价值函数V

2.lecture2 Markov Decision Process

2.1 MP,MRP,MDP

三大过程
Markov Process	，马尔可夫状态转移图
Markov Reward Process	$\gamma$> ,马尔可夫状态转移图+边权$R_s$
Markov Decision Process	$\gamma$>,马尔可夫状态转移图+边权$(R_s+a)$

状态的马尔可夫性质：某一状态包含了所有相关的历史信息，可以决定未来。（下一时刻的状态完全由本时刻的状态决定）

MRP关键概念
S	状态空间–agent所有状态的集合($s_1,s_2,s_3,....s_n$)
$p_{s,s^{\prime }}$	状态转移矩阵–其中的元素为 $p_{s,s^{\prime }}=p[s_{t+1}\Vert S_t=s]$
$R_s$	某一状态s在下一个时刻能够获得的奖励的期望值 $R_s=E[R_{t+1}\Vert S_t=s]$
$\gamma$	衰减系数–后续经历状态的奖励对于当前return的呈现衰减影响
$G_t$	return 收益/回报 --（一条马尔可夫链）从t 时刻开始所有$R_t$的衰减总和
V(s)	价值函数–某一状态/动作的长期价值 $V(s)=E[G_t\Vert S_t=s]$ ,从s出发的所有链条的$G_t$的期望

$R_s$ 确定到达这个状态他就能获得的一个奖励，不管后续去了哪里，那就是下一个状态需要关系的事情了,$R_s$一般未知，我们只能收到环境给的$R_t$的反馈，类似于k 摇臂赌博机中每个摇臂的期望奖励是$R_s$,每次反馈的奖励是$R_t$

MDP关键概念
S	状态空间–agent所有状态的集合($s_1,s_2,s_3,....s_n$)
A	动作空间–agent所有状态的集合($a_1,a_2,a_3,....a_m$)
$p_{s,s^{\prime }}^a$	元素为 $p_{s,s^{\prime }}^a=p[s_{t+1}\Vert S_t=s,A_t=a]$
$R_s^a$	$R_s^a=E[R_{t+1}\Vert S_t=s,A_t=a]$
$\pi$	概率集合/概率分布函数 : $\pi (a\Vert s)$

$\pi (a|s)$ 给定a, 不同的s会构成一个概率密度函数，找一个s使$\pi (a|s)$最大。==好像没啥用 ==

$\pi (a|s)$给定s,不同的a会构成一个概率密度函数，找一个a使$\pi (a|s)$最大。状态s下最有可能的动作选择

策略相关的概念	涉及到策略就是要对动作求期望
$p_{s,s^{\prime }}^{\pi }$	策略$\pi$下，状态s->s’的状态转移概率: $p_{s,s^{\prime }}^{\pi }={\sum }_{a\in A}\pi (a\Vert s)p_{s,s^{\prime }}^a$
$R_s^{\pi }$	策略$\pi$下，状态s 的reward: $R_s^{\pi }={\sum }_{a\in A}\pi (a\Vert s)R_s^a$
$V_{\pi }(s)$	策略$\pi$下，状态s 的价值: $v_{\pi }(s)=E_{\pi }[G_t\Vert S_t=s]$
$q_{\pi }(s,a)$	策略$\pi$下，状态s 的动作价值: $q_{\pi }(s,a)=E_{\pi }[G_t\Vert S_t=s,A_t=a]$

$p_{s,s^{\prime }}^{\pi }$：策略$\pi$ 下的状态转移概率：状态$s$下可选的动作有很多个，各个动作转向$s^{\prime }$ 的概率相加。无法直接在马尔可夫图上表示出来吧

$V_{\pi }(s)$ 基于策略$\pi$下状态s的策略价值函数，为从状态s出发，能获得回报$G_t$的期望($G_t$是通过 策略$\pi$产生的马尔可夫链求期望得出)。

$q_{\pi }(s,a)$与$V_{\pi }(s)$ 就相差一个在特定动作下，所以可以通过对$q_{\pi }(s,a)$求期望，得到$V_{\pi }(s)$。

2.2 Bellman Eqution–贝尔曼方程

$V(s)-G_t$的迭代关系–只涉及到MRP，没有动作空间

$$\begin{gathered} v(s)=E[R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+....|S_t=s] \\ =E[R_{t+1}|S_t=s]+\gamma E[R_{t+2}+\gamma R_{t+3}+...|S_t=s] \\ =E[R_{t+1}|S_t=s]+\gamma E[G_{t+1}|S_t=s]\text{\hspace{1em}(0)} \end{gathered}$$

第二部分收获的期望，等于收获期望的期望，不是很明白
$$v(s)=R_s+\gamma E[v(S_{t+1})|S_t=s]\text{\hspace{1em}(1)}$$

$S_{t+1}$下一时刻的状态，依据下一时刻状态分布求其期望：
$$v(s)=R_s+\gamma \sum _{s^{\prime }\in S}{p}_{s{s}^{\prime }}v(s^{\prime })\text{\hspace{1em}(2)}$$

写成矩阵的形式可以解析求解v：
$$\begin{gathered} V=R+\gamma PV \\ =>V=(I-\gamma P{)}^{-1}RV=R+\gamma PV \\ =>V=(I-\gamma P{)}^{-1}R\text{\hspace{1em}(3)} \end{gathered}$$

2.3 Bellman Eqution–贝尔曼期望方程

在策略$\pi$下的贝尔曼方程
$$v_{\pi }(s)=\mathbb{E}[R_{t+1}+\gamma v_{\pi }(S_{t+1})|S_t=s]\text{\hspace{1em}(4)}$$

$$q_{\pi }(s,a)=\mathbb{E}[R_{t+1}+\gamma v_{\pi }(S_{t+1})|S_t=s，A_t=a]\text{\hspace{1em}(5)}$$

两者之间的递推公式
$$v_{\pi }(s)=\sum _{a\in A}\pi (a|s)q_{\pi }(s,a)\text{\hspace{1em}(6)}$$

$$q_{\pi }(a,s)=R_s^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{v}^{\pi }(s^{\prime })\text{\hspace{1em}(7)}$$

引入动作后，状态价值v(s)与动作挂钩，现下的动作价值q(a,s) 通过 动作状态转移$P_{s{s}^{\prime }}^a$ 和下一个时刻的 状态价值v(s’) 计算

2.4 最优策略

策略$\pi$的所有状态价值都大于该状态在其他策略下的价值。策略是一个离散的动作概率集合，调整动作概率选择，就可以达到最优策略。最优策略可能不止一个，所有最优策略具有相同的价值很函数和动作价值函数。
$$\pi >={\pi }^{\prime }if{v}_{\pi }(s)>=v_{{\pi }^{\prime }}(s),\forall s\text{\hspace{1em}(8)}$$

最优策略求解：选择/求解 最大化行为价值函数对应的动作（在状态s下该执行什么动作）
$${\pi }_{\ast }(a|s)=1ifa=\arg \underset{a\in A}{\max }{q}_{\ast }(s,a)else0\text{\hspace{1em}(9)}$$

2.5 最优值函数

状态s的最优价值函数：状态s 在所有策略下价值函数的最大值。（最优策略对应的价值/动作价值函数，最优策略的定义）
$$v_{\ast }(s)=\underset{\pi }{\max }{v}_{\pi }(s)\text{\hspace{1em}(10)}$$

最优动作状态值函数所有策略在该状态该动作下价值的最大值
$$q_{\ast }(s,a)=\underset{\pi }{\max }{q}_{\pi }(s,a)\text{\hspace{1em}(11)}$$

2.6 Bellman Optimal Equation

最优状态价值 ：一个状态的最优价值= 最优策略$\pi$下,从状态$s$出发可采取的所有行为$a$,行为价值最大值。
$$v_{\ast }(s)=\underset{\pi }{\max }\underset{a}{\max }{q}_{\pi }(s,a)=\underset{a}{\max }{q}_{\ast }(s,a)\text{\hspace{1em}(12)}$$

最优行为价值函数，定义式：
$$q_{\pi }(a,s)=R_s^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{v}^{\pi }(s^{\prime })\text{\hspace{1em}(13)}$$

式子（12）带入定义式：
$$q_{\ast }(s,a)=R_s^a+\gamma \sum _{s^{\prime }\in S}{p}_{s{s}^{\prime }}^a\underset{a^{\prime }}{\max }{q}_{\ast }(s^{\prime }{a}^{\prime })\text{\hspace{1em}(14)}$$
两者之间的迭代关系

3 lecture3 Planning by Dynamic Programming

已知：模型(P已知)+策略
求解：该策略价值函数、最优策略价值函数

DP–RL
DP	最优子问题(递归求解-自顶向下递归，自底向上递归)+子问题重复出现(tabel 记录)
RL	Bellman方程提供了递归求解表达式

1）递归表达式（状态转移方程）：$q_{\pi }(a,s)=R_s^a+\gamma {\sum }_{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{v}^{\pi }(s^{\prime })$

2）更新(table)V(s) : $v_{\ast }(s)={\max }_a{q}_{\ast }(s,a)$

3.1 策略迭代估计->策略改进

Step1: 策略迭代估计-- 给定策略下迭代更新价值函数，利用（12）式贝尔曼期望方程来更新。
$$v_{k+1}(s)=\sum _{a\in A}\pi (a|s)[R_s^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{v}_k(s^{\prime })]\text{\hspace{1em}(15)}$$

其中$v_k(s^{\prime })$ 为上一轮迭代中s所有可能的下一状态s’的价值。

Step2: 策略改进–在当前策略下选取使后继状态价值增加的行为–动作选择

3.2 价值迭代–找最优策略

（不需要策略）

通过（22）式贝尔曼最优方程来求解
$$v_{\ast }(s)=\underset{a\in A}{\max }(R_s^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{v}_{\ast }(s^{\prime }))\text{\hspace{1em}(16)}$$
–$v_{\ast }(s^{\prime })$为下一个时刻状态的最优值，认为上一步的v是$v_{\ast }$，max 的过程在进行动作选择

全部是迭代计算。

4.lecture4 Model Free Prediction

条件：模型未知(P未知)
估计：该策略价值函数、最优策略价值函数

本章需要回顾的一些公式：

1）采样数据$x_1,x_2,...x_n,....$均值的在线更新公式（如下）。作用–用新的采样值$x_k$更新均值${\mu }_{k-1}$：
$$\begin{gathered} {\mu }_k=\frac{1}{k}\sum _{i=1}^k{x}_k \\ =\frac{1}{k}(x_k+\sum _{i=1}^{k-1}{x}_i) \\ =\frac{1}{k}(x_k+(k-1){\mu }_{k-1}) \\ ={\mu }_{k-1}+\frac{1}{k}(x_k-{\mu }_{k-1})\text{\hspace{1em}(17)} \end{gathered}$$

2）价值函数的定义式：$V(s_t)=E[G_t\Vert S_t=s]$

3）$G_t$的衰减和定义式子：$G_t=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3,...,}$

4）贝尔曼方程递归求解价值函数：$V(s_t)=R_s+\gamma V(s_{t+1})$

4.1 蒙特卡洛学习–完全采样

在给定策略下，从一系列完整的Episode 中估计得到所有状态的价值函数。
（核心：状态价值 使用采样Episode均值估计，而非所有的全Episode期望计算）
（完全说的是Episode是一条完整的链子）

增量式蒙特卡洛更新：
$$\begin{gathered} N(s_t)=N(s_t)+1 \\ v(s_t)=v(s_t)+\frac{1}{N(s_t)}(G_t-V(s_t))\text{\hspace{1em}(18)} \end{gathered}$$

其中，$G_t$需要通过一条完整的Episode。

不明白$\frac{1}{N(s_t)}$只是用$\alpha$来表示，还是就使用一个固定的$\alpha$

4.2 时序差分TD(n)–不完全采样

在给定策略下，从一系列不完整的Episode 中估计得到所有状态的价值函数。
主要区别：3)式更新式中的$G_t$的近似求解:
$$G_t=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3,...,}\approx G_t^{(n)}=R_{t+1}+...+{\gamma }^{n}V(s_{t+n})$$

其中，$V(s_{t+1})$下一状态$s_{t+1}$价值的非精确求解。

增量式时序差分更新：
$$\begin{gathered} N(s_t)=N(s_t)+1 \\ v(s_t)=v(s_t)+\frac{1}{N(s_t)}(R_{t+1}+\gamma V(s_{t+1})-V(s_t))\text{\hspace{1em}(18)} \end{gathered}$$

$R_{t+1}+\gamma V(s_{t+1})$称为TD target, $R_{t+1}+\gamma V(s_{t+1})-V(s_t)$称为TD error。

依据$G_t$中$R_{t+i}$的计算步长，TD算法可以分为TD(n)算法，TD(n)算法表示n+1步return 计算。

4.3 TD($\lambda$)

结合蒙特卡洛更新和时序差分更新的优点，融合不同的n步return。
$$G_t^{\lambda }=(1-\lambda )\sum _{n=1}^{\infty }{\lambda }^{n-1}{G}_t^n$$

TD($\lambda$)前向更新式（理论计算）：
$$v(s_t)=v(s_t)+\alpha (G_t^{\lambda }-V(s_t))\text{\hspace{1em}(18)}$$

TD($\lambda$)反向更新式（实际计算）–引入效用迹的概念，没有很明白：
$$\begin{gathered} {\delta }_t=R_{t+1}+\gamma V(s_{t+1})-V(s_t) \\ v(s_t)=v(s_t)+\alpha {\delta }_t{E}_t(s) \end{gathered}$$

一个状态的效用：$E_t(s)=\gamma \lambda E_{t-1}(s)+1(s_t=s)$

5.lecture5 Model Free Control

条件：模型未知(P未知)
估计：该策略价值函数、最优策略价值函数 （基于贪心策略来进行一些改进）

	不基于模型的两种策略
on policy learning	基于已有策略，更新价值，改进策略	sarsa
off policy learning	基于先验策略$\mu$，更新价值，改进策略$\pi$	Q-learning

5.1 SARSA

给定s --> 依据π产生a --> 环境反馈r,状态转换s’ --> 继续依据π产生a’ --> 计算Q(s’,a’) --> 更新q(s,a)

$$Q(s,a)<-Q(s,a)+\alpha (R+\gamma Q(s^{\prime },a^{\prime })-Q(s,a))$$

5.2 Q-learning

给定s --> 依据$\mu$产生a --> 环境反馈r,状态转换s’ --> 依据π产生a’ --> 计算Q(s’,a’) --> 更新q(s,a)

$$Q(s,a)<-Q(s,a)+\alpha (R+\gamma Q(s^{\prime },a^{\prime })-Q(s,a))$$

$\mu =ϵ-greedy$
$\pi =greedy$
本质：在状态s下，依据$\mu =ϵ-greedy$策略得到的行为a,可计算Q值，并将其朝着 s’ 状态下具有最大的Q值方向做一定比例的更行新。（因为用的时greedy 策略）

可以使得$ϵ-greedy$最终变成一个更优策略，但是

6. Value Function Approximation

6.1 DQN-Deep Q learning

用神经网络计算Q值，目标让$Q_{\theta }(s,a)$和（sars’a’）计算出来的$r+\gamma \max Q(s^{\prime },a^{\prime })$的误差平法和最小，优化参数$\theta$使得Q值计算准确。

DQN 算法要点：
1.依据$ϵ-greedy$策略产生t时刻的行为
2.将大量的经历数据$(s_t,a_t,r_{t+1}{s}_{t+1})$存在内存里
3.从经历数据中随机抽取mini-batch$(s,a,r,a^{\prime })$
4.维护两个神经网络：net1,net2,一个网络固定参数用来产生目标值，另一个用来评估策略。更新参数
$$L(w)={\mathbb{E}}_{s,s,r,s^{\prime }}[(Q(s,a|w)-(r+\gamma \underset{a^{\prime }}{\max }Q(s^{\prime },a^{\prime }|w^{-})))]$$

其中$w$在一个mini-batch中更新，$w^{-}$为上一轮更新的参数。

7.lecture7 Policy Gradient

直接将策略参数化为状态和行为的函数， 利用累计奖励最大化来训练策略参数。
重要概念：似然比
$${\nabla }_{\theta }{\pi }_{\theta }(s,a)={\pi }_{\theta }(s,a)\frac{{\nabla }_{\theta }{\pi }_{\theta }(s,a)}{{\pi }_{\theta }(s,a)}={\pi }_{\theta }(s,a){\nabla }_{\theta }\log {\pi }_{\theta }(s,a)$$

7.1 Actor and Critics

Actor and Critics 算法出发点：相对准确估计状态价值，来指导策略更新。

1.在A-C算法中用critic来估计行为价值：
$$Q_w(s,a)\approx Q^{{\pi }_{\theta }}(s,a)$$

2.在A-C算法中用actor执行策略${\pi }_{\theta }$,使得critic估计的行为价值计算的累计回报最大：(对所有的s求期望)

$$J=\mathbb{E}[Q(s_0,a)]=\sum _s\sum _a\pi (a|s)Q(s,a)$$

策略更新梯度：
$${\nabla }_{\pi }J=\sum _s{\nabla }_{\theta }\log {\pi }_{\theta }(s,a)Q_w(s,a)$$

a2c:advantage 的概念