强化学习笔记_1_基本概念_Deep Reinforcement Learning

前段时间学习了强化学习和深度强化学习相关的内容，整理了一些笔记，未来几天会陆续将这些笔记整理上传。
主要学习了ShuSen Wang的视频课程，原视频发布在YouTube上：https://youtu.be/vmkRMvhCW5c
在GitHub上也有对应的课程资料：课程资料：https://github.com/wangshusen/DRL
如果YouTube不方便的话，在B站也有朋友进行了视频搬移：https://www.bilibili.com/video/BV12o4y197US?p=1&vd_source=8d653ed89bcdb0eb6cd2a2b188704789

1.概率论相关知识

• 随机变量 Random Variable

  随机变量$X$，一个随机事件的结果；

  $X$的观测值$x$，不具有随机性。

• 概率密度函数，Probability Density Function（PDF）

  概率密度函数$p(x)$，随机变量$X$的定义域为$\mathcal{X}$

  • 概率积分或加和为1
    $$\begin{array}{rl}{\int }_{\mathcal{X}}p(x)dx& =1\\ \sum _{x\in \mathcal{X}}p(x)& =1\end{array}$$

  • 期望，Expectation
    $$\begin{array}{rl}E[f(X)]& ={\int }_{\mathcal{X}}p(x)f(x)dx\\ E[f(X)]& =\sum _{x\in \mathcal{X}}p(x)f(x)\end{array}$$

  • 随机抽样，Random Sampling

2.专业术语，terminology

• Agent，智能体

• State，s

• Action，a

• Policy，$\pi$，概率密度函数
  $$\pi (a|s)=P(A=a|S=s)$$

• Reward，r

• State transition，状态转移

  在action下，状态从old state转移到new state；状态转移一般是随机的。
  $$p(s^{\prime }|s,a)=P(S^{\prime }=s^{\prime }|S=s,A=a)$$

• agent environment interactoin，交互

  • 通过Environment，观测确定状态$s_t$
  • Agent得到状态后，给出动作$a_t$
  • Environment根据动作，更新状态为$s_{t+1}$，并给出Agent的奖励$r_t$

  最终生成轨迹trajectory：
  $$s_1,a_1,r_1,s_2,a_2,r_2,\cdot \cdot \cdot ,s_T,a_T,r_T$$

3.Randomness in Reinforcement Learning

强化学习中随机性来源：

• 动作Action的随机性，根据Policy $\pi$随机抽样；
• 状态转移State transitions的随机性，给定动作$a$后，根据状态转移函数$p$随机抽样，得到新的状态。

1. Returns

   • Return, aka cumulative future reward（累积奖励）

     Discounted return, aka cumulative Discounted future reward（折扣累积回报）

     $\gamma$, discount rate
     $$U_t=R_t+\gamma R_{t+1}+{\gamma }^2{R}_{t+2}+\cdot \cdot \cdot$$

   • Return and Reward

     Reward为某一状态的回报，以$R$表示该随机变量；若游戏已经结束（采样结束），已经得到了一组回报，这组回报数值以$r$表示；

     Return为当前时刻向后的累计回报，以$U_t$表示。

   • Randomness in Returns

     任意一个时刻的奖励$R_i$取决于$S_i$和$A_i$，故Return随机性的两个来源为：未来所有时刻的动作和状态的随机性。

     Actions are random: $P[A=a|S=s]=\pi (a|s)$

     States are random: $P[S^{\prime }=s^{\prime }|S=s,A=a]=p(s^{\prime }|s,a)$

   4.Value Function，价值函数

   • Action-Value Function，行动价值函数$Q(s,a)$，对某个行动进行打分

     问题：$U_t$依赖于未来时刻的动作和状态，故$t$时刻无法获知$U_t$，无法对当前时刻进行评估。

     解决方法：对$U_t$求期望，通过积分消除未来状态和动作的随机性，仅保留当前状态和动作，得到一个实数。
     $$Q_{\pi }(s_t,a_t)=E[U_t|S_t=s_t,A_t=a_t]$$
     行动价值函数$Q_{\pi }(s_t,a_t)$与Policy $\pi (a|s)$有关，对当前策略$\pi$下不同行动$a$进行打分。

     Optimal action-value function，在无数种策略下，取最优的一种:
     $$Q^{\ast }(s_t,a_t)=\underset{\pi }{\max }{Q}_{\pi }(s_t,a_t)$$

   • State-Value Function，状态价值函数$V(s)$，对某个状态和策略进行评估

     当前状态下，对不同动作的行动价值函数求期望：
     $$V_{\pi }(s_t)=E_A[Q_{\pi }(S_t,A)]$$

     $$\begin{array}{rl}{V}_{\pi }(s_t)=E_A[Q_{\pi }(S_t,A)]& =\sum _a\pi (a|s_t)\cdot Q(s_t,a)\\ V_{\pi }(s_t)=E_A[Q_{\pi }(S_t,A)]& =\int \pi (a|s_t)\cdot Q(s_t,a)da\end{array}$$

   5.How does AI control the agent

   强化学习思路下，控制agent的方法：

   • 策略学习，给定决策$\pi (a|s)$，在状态$s_t$下随机抽样得到$a_t$

   • 价值学习，给定最优行动价值$Q^{\ast }(s,a)$，在状态$s_t$下对各个动作进行评价，取最优的动作$a_t=\arg {\max }_a{Q}^{\ast }(s_t,a)$

   • 策略学习，给定决策$\pi (a|s)$，在状态$s_t$下随机抽样得到$a_t$

   • 价值学习，给定最优行动价值$Q^{\ast }(s,a)$，在状态$s_t$下对各个动作进行评价，取最优的动作$a_t=\arg {\max }_a{Q}^{\ast }(s_t,a)$