EasyRL笔记

RL基础（Task 1）

定义:

借用维基百科对于强化学习的定义：
Reinforcement learning (RL) is an area of machine learning concerned with how intelligent agents ought to take actions in an environment in order to maximize the notion of cumulative reward.

即强化学习是机器学习的一个领域其主要关注的目标是如何使 智能体(agents)在 特定的环境下 做出能使 reward最大的action。从归属上来看，强化学习与控制论有更密切的关联。

强化学习包含 智能体 和 环境 这两个部分，其训练过程即为智能体与环境反复交互的过程。智能体对其观测到的环境的某个状态做出的一个反馈被称为 action or decision (动作\决策)。

为了区分强化学习、有监督学习和无监督学习，这里引用了维基百科对强化学习地位的说明 "Reinforcement learning is one of three basic machine learning paradigms, alongside supervised learning and unsupervised learning. " 强化学习、有监督学习和无监督学习三家在机器学习领域形成三足鼎立的格局。至于后来的半监督学习、演化学习、元学习等等学习方法都来源于这三类学习。

强化学习区别于监督学习在于：

• 强化学习输入的样本是序列数据，而监督学习里面样本都满足独立分布特性
• 强化学习通过探索和利用的方法不断提升自身的能力
• 对于监督学习里的监督信号(label + criterion)，强化学习的方向指引信号为奖励信号 ( reward )。

序列决策过程

来自维基百科的定义:
In artificial intelligence, sequential decision making refers to algorithms that take the dynamics of the world into consideration, thus delaying parts of the problem until it must be solved. It can be described as a procedural approach to decision-making, or as a step by step decision theory. Sequential decision making has as a consequence the intertemporal choice problem, where earlier decisions influences the later available choices.
简单来说，序列决策过程是智能算法对环境的一系列反馈做出的与之一一对应的一系列决策的过程。

环境反馈给智能算法的评价信号被称为奖励，奖励通常为标量，有时候也会出现矢量的情况 (演化学习中评价两个多目标的agents时常常使用矢量作为评价标准，最后评价结果取决于模型的指标向量是否位于帕累托前沿)。

状态和观测

当智能体与环境进行交互的时候会获取环境的部分信息，这部分信息被称为观测，而关于环境的全部信息被称为状态。简而言之，状态是观测的全貌，观测是状态的一个部分。

动作空间

动作空间是指智能体能够采取的所有动作的集合。这个集合包含的动作的数量常常是有限(在部分极端情况下也可能出现无限但是无论如何动作数量是可数的)

智能体的组成成分和类型

智能体包含策略、价值函数和模型三个部分。策略是指智能体下一步采取的动作；价值函数是指对智能体得到的反馈的评价；模型是指智能体认知环境的过程。

策略

策略是智能体的动作模型，它决定了智能体的动作，用于把输入的状态变成动作的映射关系。策略可分为两种：随机性策略和确定性策略。

随机性策略 是指智能体对观测结果以某种概率选择下一步的动作 (能更多探索环境)

确定性策略是指智能体对特定的观察结果以特定的方式选择下一步的动作(收敛较快但是动作相对比较死板)

价值函数

价值函数的值是对未来奖励的预测，被用来来评估状态的好坏。强化学习智能体的训练过程就是针对价值函数的最大和值链的获取和逼近过程。

模型

智能体的模型决定了下一步的状态。而下一步的状态取决于当前的状态以及当前采取的动作。它由状态转移概率和奖励函数两个部分组成。转移函数为动作间的转化概率，奖励函数为智能体在当前状态采取了某个动作得到奖励的期盼。

强化学习智能体的类型

基于价值的智能体与基于策略的智能体

基于价值的智能体显式地学习价值函数，隐式地学习策略。策略是其从学到的价值函数里面推算出来的。
基于策略的智能体直接学习策略，该模型获得一个状态就会输出对应动作的概率。

有模型强化学习智能体与免模型强化学习智能体

有模型强化学习智能体通过学习状态的转移来采取动作。

免模型强化学习智能体没有去直接估计状态的转移，也没有得到环境的具体转移变量，通过学习价值函数和策略函数进行决策。免模型强化学习智能体的模型里面没有环境转移的模型。

代码实验

强化学习依赖于Gym库及其他深度学习库。

马尔可夫决策过程及表格性方法（Task 2）

从MP到MDP

马尔可夫过程（MP）

定义：如果一个状态转移是符合马尔可夫的，那就是说一个状态的下一个状态只取决于它当前状态，而跟它当前状态之前的状态都没有关系。

其数学定义为针对状态的历史为$h_t=\left\{s_1,s_2,s_3,\dots ,s_t\right\}$则对符合马尔可夫的状态转移满足：
$$\begin{gathered} p(s_{t+1}\mid s_t)=p(s_{t+1}\mid h_t) \\ p(s_{t+1}\mid s_t,a_t)=p(s_{t+1}\mid h_t,a_t) \end{gathered}$$

马尔可夫奖励过程(MRP)

马尔可夫奖励过程(Markov Reward Process, MRP) 是在马尔可夫链的基础上加上了一个奖励函数，其表现形式通常为数学期望的格式。并在此基础上定义discount factor $\gamma$，用来对未来可以获得的奖励进行相应的折扣（到手的钱才算钱，拒绝画饼，应该可以这么理解叭）。

在MRP中，用 state value function 定义了一个状态的价值用$V_t(s)$来表示，其代表$G_t$​ (discounted return)在状态$s$下的期望值，可以看成是对未来可能获得奖励的当前价值的一个表现。​

价值函数$V_t(s)$可以用Bellman Equation（贝尔曼等式）重写为：
$$V(s)=R(s)+\gamma \sum _{s^{\prime }\in S}P(s^{\prime }\mid s)V(s^{\prime })$$

• $s^{\prime }$ 可以看成未来的所有状态。
• 转移概率 $P(s^{\prime }\mid s)$ 是指从当前状态转移到未来状态的概率。
• $V(s^{\prime })$ 代表的是未来某一个状态的价值。

Bellman Equation 定义了当前状态跟未来状态之间的关系.

通过这个等式，可以求解得到 $V$ 的解析解即$V=(I-\gamma P{)}^{-1}R$。但是由于需要求矩阵的逆其时间复杂度过大，在实际大规模应用中不可能采用这种方法计算得到价值函数的值。
为了获取 $V$ 的数值解，往往采用动态规划、蒙特卡罗和时序差分学习等办法进行求解。

蒙特卡罗方法

蒙特卡洛方法是指放入环境计算 $N$ 次这一次的价值函数 $G$ ，并将这 $N$ 次获得的价值函数 $\left\{G_1,G_2,G_3\dots G_N\right\}$ 求均值得到最终的价值函数 $\hat{G}$。即$\hat{G}=\frac{1}{N}{\sum }_{i=1}^N{G}_i$。

动态规划方法

动态规划方法一直用公式$V(s)=R(s)+\gamma {\sum }_{s^{\prime }\in S}^{}P(s^{\prime }\mid s)V(s^{\prime })$进行迭代直至 $V$ 的数值收敛 $\Vert V-V^{\prime }\Vert \le ϵ$。

马尔可夫决策过程(MDP)

相较之前的MRP

• MDP添加了决策（动作）的成分
• 状态转移也多了$a_t=a$（action）作为条件，变成了 $P(s_{t+1}=s^{\prime }\mid s_t=s,a_t=a)$
• 价值函数也多了$a_t=a$（action）作为价值触发条件，变为了$R(s_t=s,a_t=a)=E[r_t\mid s_t=s,a_t=a]$, 即当前的状态和采取的动作都会成为当前可能得到的奖励数量的影响因素。

Policy in MDP

Policy: 某一个状态($S$)应该采取什么样的动作($a$)。
$$\pi (a\mid s)=P(a_t=a\mid s_t=s)$$

价值函数

状态-价值函数(state-value function) $v^{\pi }(s)=E_{\pi }[G_t\mid s_t=s]$

Q 函数 action-value function: 某一个状态采取某一个动作，有可能得到的这个 return 的一个期望$q^{\pi }(s,a)=E_{\pi }[G_t\mid s_t=s,a_t=a]$。

这两个价值函数的关联如下式所示：
$$v^{\pi }(s)=\sum _{a\in A}\pi (a\mid s)q^{\pi }(s,a)$$
其中$\pi$是一个概率，$q^{\pi }$代表 $a$ 对应的决策的值。

Q函数也可以写成Bellman Equation的形式：
$$q(s,a)=R(s,a)+\gamma \sum _{s^{\prime }\in S}P(s\prime \mid s,a)V(s\prime )$$

Bellman Expectation Equation

价值函数和Q函数的Bellman Expectation Equation可以写成下式：
$$\begin{gathered} v^{\pi }(s)=E^{\pi }[R_{t+1}+\gamma v^{\pi }(s_{t+1})\mid s_t=s] \\ {q}^{\pi }(s,a)=E^{\pi }[R_{t+1}+\gamma q^{\pi }(s_{t+1},a_{t+1})\mid s_t=s,a_t=a] \end{gathered}$$

这两个价值函数也能写成，通过相互带入能够实现有效的消元。
$$\begin{gathered} v^{\pi }(s)=\sum _{a\in A}\pi (a\mid s)q^{\pi }(s,a) \\ {q}^{\pi }(s,a)=R_s^a+\gamma \sum _{s^{\prime }\in S}P(s^{\prime }\mid s,a)v^{\pi }(s^{\prime }) \\ \Downarrow \\ {v}^{\pi }(s)=\sum _{a^{\prime }\in A}\pi (a\mid s)(R(s,a)+\gamma \sum _{s^{\prime }\in S}P(s^{\prime }\mid s,a)v^{\pi }(s^{\prime })) \\ {q}^{\pi }(s,a)=R(s,a)+\gamma \sum _{s^{\prime }\in S}P(s^{\prime }\mid s,a)\sum _{a^{\prime }\in A}\pi (a^{\prime }\mid s^{\prime })q^{\pi }(s^{\prime },a^{\prime }) \end{gathered}$$
而强化学习的目标就是寻找到
$$\begin{gathered} v^{\ast }(s)=\underset{\pi }{\max }{v}^{\pi }(s) \\ or \\ {\pi }^{\ast }(s)=\underset{\pi }{\mathrm{argmax}}{v}^{\pi }(s) \end{gathered}$$
而搜索这种策略的方式有两种常用的方法：policy iteration 和 value iteration

policy iteration

Policy iteration 由两个步骤组成：policy evaluation 和 policy improvement

policy iteration

获取 $V$

通过reward function以及状态转移计算Q-function

取使它得到最大值的 action

$$\begin{gathered} q^{\pi i}(s,a)=R(s,a)+\gamma \sum _{s^{\prime }\in S}P(s^{\prime }\mid s,a)v^{\pi i}(s^{\prime }) \\ \Downarrow \Uparrow \\ {\pi }_{i+1}(s)=\underset{a}{\mathrm{argmax}}{q}^{\pi i}(s,a) \end{gathered}$$

Value Iteration

Value iteration 就是把 Bellman Optimality Equation 当成一个 update rule 来进行
$$v(s)\leftarrow \underset{a\in A}{\max }(R(s,a)+\gamma \sum _{s^{\prime }\in S}P(s^{\prime }\mid s,a)v(s^{\prime }))$$

表格型方法

表格型方法: 使用查找表的强化学习方法

免模型预测

上一时刻平均值与现在时刻的平均值之间的联系为：
$${\mu }_t={\mu }_{t-1}+\frac{1}{t}(x_t-{\mu }_{t-1})$$
其中的 $\frac{1}{t}$ 可以被理解为学习率

蒙特卡洛策略评估

蒙特卡洛方法是基于采样的方法，给定策略 $\pi$让智能体与环境进行交互可以得到很多轨迹。每个轨迹都有对应的回报$G_t$。求出所有轨迹的回报的平均值，就可以知道某一个策略对应状态的价值，即：
$$V_{\pi }(s)=E_{\tau \sim \pi }[G_t\mid s_t=s]$$
蒙特卡洛方法的具体操作流程如下:

• Step 1：循环执行下面两个公式
  $$\begin{gathered} N(s)\leftarrow N(s)+1 \\ S(s)\leftarrow S(s)+G_t \end{gathered}$$
  其中$G_t=r_{t+1}+\gamma r_{t+2}+{\gamma }^2{r}_{t+3}+\dots$
• Step 2：跳出循环
  $$V(s)=S(s)/N(s)$$

动态规划

$$V_i(s)\leftarrow \sum _{a\in A}\pi (a\mid s)(R(s,a)+\gamma \sum _{s^{\prime }\in S}P(s^{\prime }\mid s,a)V_{i-1}(s^{\prime }))$$
这个公式来源于$V$的Bellman Expectation Equation

时序差分 TD

时序差分是介于蒙特卡洛和动态规划之间的方法，是一种免模型的方法。在训练过程中不需要使用到马尔可夫决策过程的转移矩阵和奖励函数。 此外，时序差分方法可以从不完整的回合中学习，并且结合了自举的思想。

时序差分方法的目的是对于某个给定的策略 $\pi$，在线（online）step-by-step 地算出它的价值函数 $V_{\pi }$。

一步时序差分每往前走一步，就做一步自举，用得到的估计回报（estimated return）$r_{t+1}+\gamma V(s_{t+1})$ 来更新上一时刻的值 $V(s_t)$
$$V(s_t)\leftarrow V(s_t)+\alpha (r_{t+1}+\gamma V(s_{t+1})-V(s_t))$$

时序差分目标（TD target）in TD(0) :带衰减的未来奖励的总和 $r_{t+1}+\gamma V(s_{t+1})$其包含两个部分，分别为：

• 实际奖励$r_{t+1}$
• 用了自举的方法估计得到的乘以折扣因子 $\gamma$ 的 $V(s_{t+1})$ , 表现为 $\gamma V(s_{t+1})$

时序差分误差（TD error）in TD(0) $\delta =r_{t+1}+\gamma V(s_{t+1})-V(s_t)$ 为每一步变化的内容 $\delta$乘学习率 $\alpha$ 就是 $V(s_t)$ 的更新量

对于更一般的TD(n) 其与TD(0)区别在于执行几步更新一次，公式基本一致。

免模型控制

在不知道马尔可夫决策过程模型的情况下对价值函数进行优化的方法。

广义策略迭代

（generalized policy iteration，GPI）

策略迭代

STEP 1 : 根据当前策略 $\pi$ 来估计价值函数 $V$

对价值函数 $V$ 运用贪心的方法来改进策略 ${\pi }^{\prime }$

上述策略用数学公式可以写成
$${\pi }_{i+1}(s)=\underset{a}{arg\max }{Q}_{{\pi }_i}(s,a)$$，但这种方法在得到状态价值函数 $V$ 后，由于并不知道奖励函数 $R(s,a)$ 和状态转移 $P(s^{\prime }\mid s,a)$，无法被用来估计 Q 函数。
$$Q_{{\pi }_i}(s,a)=R(s,a)+\gamma \sum _{s^{\prime }\in S}P(s^{\prime }\mid s,a)V_{{\pi }_i}(s^{\prime })$$
由于上述原因，提出了广义策略迭代方法

广义策略迭代

使用蒙特卡洛方法来估计策略 $Q=Q_{\pi }$

可以通过贪心的方法去更新策略 $\pi (s)=\underset{a}{arg\max }Q(s,a)$

其中，使用蒙特卡洛方法来估计策略 $Q=Q_{\pi }$的方法如下图所示。
为了确保蒙特卡洛方法能够有足够的探索，可以使用了 $\epsilon$ - 贪心（$\epsilon$-greedy）探索。 $\epsilon$ - 贪心是指有$1-\epsilon$的概率会按照 Q函数来决定动作。

基于 $\epsilon$ - 贪心探索的蒙特卡洛方法如图所示。

Sarsa：同策略时序差分控制

Sarsa 算法：使用时序差分来估计Q函数的方法，将原本时序差分方法更新 V 的过程，变成了更新 Q，Sarsa 通过直接估计 Q 表格，完成策略的更新。
$$Q(s_t,a_t)\leftarrow Q(s_t,a_t)+\alpha [r_{t+1}+\gamma Q(s_{t+1},a_{t+1})-Q(s_t,a_t)]$$

n 步 Sarsa算法：
n 步Sarsa的更新公式如下:
$$\begin{gathered} n步Q回报为：Q_t^n=r_{t+1}+\gamma r_{t+2}+\cdots +{\gamma }^{n-1}{r}_{t+n}+{\gamma }^{n}Q(s_{t+n},a_{t+n}) \\ 加上资格迹衰减参数\lambda 进行求和：Q_t^{\lambda }=(1-\lambda )\sum _{n=1}^{\infty }{\lambda }^{n-1}{Q}_t^n \\ 更新策略：Q(s_t,a_t)\leftarrow Q(s_t,a_t)+\alpha (Q_t^{\lambda }-Q(s_t,a_t)) \end{gathered}$$

Q学习：异策略时序差分控制

同策略算法：同策略算法在学习的过程中只存在一种策略。
异策略算法：训练过程中包含**目标策略（target policy）和行为策略（behavior policy）**两种策略。目标策略是算法需要去学习的策略，一般用 $\pi$ 来表示。行为策略是探索环境的策略，一般用 $\mu$ 来表示。行为策略肆意探索环境，并把采集到的数据交给目标策略学习。
其更新公式为
$$Q(s_t,a_t)\leftarrow Q(s_t,a_t)+\alpha [r_{t+1}+\gamma \underset{a}{\max }Q(s_{t+1},a)-Q(s_t,a_t)]$$

Policy Gradient & PPO（Task 3）

Policy Gradient

强化学习有 3 个组成部分：演员(actor)、环境(environment) 和 奖励函数(reward function)，其中环境和奖励函数不是可控制的，只有 actor 的策略可以调整。

策略：${\pi }^{\theta }$，其中 $\theta$ 代表策略 $\pi$ 的参数

回合(episode) or 试验(trial)：一次从开始到结束的游戏

回报(return) or 总奖励(total reward)：在一个回合中获得的全部奖励的总和，记作 $R$

Trajectory(轨迹)：把环境输出的 $s$ 和演员输出的行为 $a$ 按照时间的次序串起来。$\mathrm{Trajectory}\tau =\{s_1,a_1,s_2,a_2,\dots ,s_t,a_t\}$

对特定的网络参数 $\theta$ ，每一个轨迹发生的概率为$p_{\theta }(\tau )=p(s_1){\prod }_{t=1}^T{p}_{\theta }(a_t\mid s_t)p(s_{t+1}\mid s_t,a_t)$。其中 $p(s_{t+1}\mid s_t,a_t)p(s_{t+1}|s_t,a_t)p(s_{t+1}\mid s_t,a_t)$代表的是环境给反馈的概率，$p_{\theta }(a_t\mid s_t)$代表的是agent做出动作的概率。

在训练过程中，调整的是agent的参数 $\theta$ 其方向是使得${\pi }^{\theta }$获取的 R 最大 $\underset{\theta }{\max }R$。但是由于环境和agent的随机性，$R$ 往往是一个随机的标量，因而不能通过 $R$ 计算得到最好的 agent 的参数 $\theta$。$R$ 的期望 $\overline{R_{\theta }}$ 是一个稳定的值，可以被用来替代 $R$ 实现对 agent 参数 $\theta$ 的计算。
$$\overline{R_{\theta }}=\sum _{\tau }R(\tau )p_{\theta }(\tau )=E_{\tau \sim p_{\theta }(\tau )}[R(\tau )]$$
为了能够使得$\overline{R_{\theta }}$获得相对较大的数值，在深度学习领域往往采用梯度上升的方法。

首先引入一个公式
$$\nabla f(x)=f(x)\nabla logf(x)$$
对 $\nabla p_{\theta }(\tau )$ 使用这个公式，得到 $\nabla p_{\theta }(\tau )=p_{\theta }(\tau )\nabla \log p_{\theta }(\tau )$，最终得到

$$\frac{\nabla p_{\theta }(\tau )}{p_{\theta }(\tau )}=\nabla \log p_{\theta }(\tau )$$

所以
$$\begin{gathered} \nabla \bar{R}{}_{\theta }=\sum _{\tau }R(\tau )\nabla p_{\theta }(\tau ) \\ =\sum _{\tau }R(\tau )p_{\theta }(\tau )\nabla \log p_{\theta }(\tau ) \\ =E_{\tau \sim p_{\theta }(\tau )}[R(\tau )\nabla \log p_{\theta }(\tau )] \end{gathered}$$
但是公式里的期望值没有办法直接计算获得，但是可以用采样的方式来获取一系列的 $\tau$ ，并用来计算$\nabla R$。
$$\begin{gathered} E_{\tau \sim p_{\theta }(\tau )}[R(\tau )\nabla \log p_{\theta }(\tau )] \\ \approx \frac{1}{N}\sum _{n=1}^{N}R({\tau }^n)\nabla \log p_{\theta }({\tau }^n) \\ =\frac{1}{N}\sum _{n=1}^N\sum _{t=1}^{T_n}R({\tau }^n)\nabla \log p_{\theta }(a_t^n\mid s_t^n) \end{gathered}$$

其中$\nabla \log p_{\theta }(\tau )$的推导公式为：

$$\begin{gathered} \nabla \log p_{\theta }(\tau )=\nabla (\log p(s_1)+\sum _{t=1}^T\log p_{\theta }(a_t\mid s_t)+\sum _{t=1}^T\log p(s_{t+1}\mid s_t,a_t)) \\ =\nabla \log p(s_1)+\nabla \sum _{t=1}^T\log p_{\theta }(a_t\mid s_t)+\nabla \sum _{t=1}^T\log p(s_{t+1}\mid s_t,a_t) \\ =\nabla \sum _{t=1}^T\log p_{\theta }(a_t\mid s_t) \\ =\sum _{t=1}^T\nabla \log p_{\theta }(a_t\mid s_t) \end{gathered}$$
在公式中$p(s_1)$ 和 $p(s_{t+1}|s_t,a_t)$ 来自于环境，$p_{\theta }(a_t|s_t)$ 来自于 agent。$p(s_1)$ 和 $p(s_{t+1}|s_t,a_t)$ 由环境决定与 $\theta$ 无关，因此 $\nabla \log p(s_1)=0$ ，$\nabla {\sum }_{t=1}^T\log p(s_{t+1}|s_t,a_t)=0$。

PPO

DDPG (Deep Deterministic Policy Gradient)

DDPG 的提出是为了让 DQN 可以扩展到连续的动作空间

在实际使用中，DDPG 有时表现很好，但在超参数和其他类型的调整方面经常很敏感。为了解决这一问题，TD3 引入了三个关键技巧：

• 截断的双 Q 学习
• 延迟的策略更新
• 目标策略平滑

DDPG的实验代码接口

env = gym.make('Pendulum-v0') 
env.seed(1) # 设置env随机种子
n_states = env.observation_space.shape[0] # 获取总的状态数

rewards = [] # 记录总的rewards
moving_average_rewards = [] # 记录总的经滑动平均处理后的rewards
ep_steps = []
for i_episode in range(1, cfg.max_episodes+1): # cfg.max_episodes为最大训练的episode数
    state = env.reset() # reset环境状态
    ep_reward = 0
    for i_step in range(1, cfg.max_steps+1): # cfg.max_steps为每个episode的补偿
        action = agent.select_action(state) # 根据当前环境state选择action
        next_state, reward, done, _ = env.step(action) # 更新环境参数
        ep_reward += reward
        agent.memory.push(state, action, reward, next_state, done) # 将state等这些transition存入memory
        state = next_state # 跳转到下一个状态
        agent.update() # 每步更新网络
        if done:
            break
    # 更新target network，复制DQN中的所有weights and biases
    if i_episode % cfg.target_update == 0: #  cfg.target_update为target_net的更新频率
        agent.target_net.load_state_dict(agent.policy_net.state_dict())
    print('Episode:', i_episode, ' Reward: %i' %
          int(ep_reward), 'n_steps:', i_step, 'done: ', done,' Explore: %.2f' % agent.epsilon)
    ep_steps.append(i_step)
    rewards.append(ep_reward)
    # 计算滑动窗口的reward
    if i_episode == 1:
        moving_average_rewards.append(ep_reward)
    else:
        moving_average_rewards.append(
            0.9*moving_average_rewards[-1]+0.1*ep_reward)