深度强化学习基本概念-王树森课程笔记

学习资料：
深度强化学习课程-王树森

一、 概率论知识

• Random Value
  • 随机变量：$X$
  • 随机变量的观测值（没有随机性）：$x_0,x_1,x_2......$
  • $\mathcal{X}$：随机变量$X$的定义域
• Probability Density Function：随机变量在某个确定的取值点附近的可能性
  • 概率密度函数：$p(x)$
  • 连续分布：${\int }_{\mathcal{X}}p(x)dx=1$
  • 离散分布：${\sum }_{x\in \mathcal{X}}p(x)=1$
• Expectation：函数$f(x)$的期望
  • 期望：$E[f(x)]$
  • 连续分布：$E[f(x)]={\int }_{\mathcal{X}}p(x)\cdot f(x)dx$
  • 离散分布：$E[f(x)]={\sum }_{x\in \mathcal{X}}p(x)\cdot f(x)$
• Random Sampling
  • 随机抽样

二、 强化学习专业术语

• state：状态 $s$

• action：动作 $a$

• agent：动作的发出者
• policy：策略 $\pi$，根据观测到的状态做出决策来控制agent运动
  • 强化学习学的就是policy函数
  • agent动作随机，根据policy来做动作

• reward：奖励$R$
  • agent做出一个动作后会得到一个奖励，通常需要自己定义
  • 奖励定义的好坏十分影响强化学习的结果
  • 强化学习的目标：获得的奖励总和尽量高
• state transition：状态转移
  • 当前状态下做出一个动作后转移到新的状态
  • 状态转移可以是确定的也可以是随机的，通常是随机的（随机性来源于环境）
  • 状态转移函数 $p(s^{\prime }|s,a)=P(S^{\prime }=s^{\prime }|S=s,A=a)$
• trajectory：轨迹 (state, action, reward)
  • $s_1,a_1,r_1,s_2,a_2,r_2,...,s_T,a_T,r_T$

• agent与environment交互
  1. 环境给出当前state $s_t$
  2. agent根据$s_t$做出动作$a_t$
  3. 环境更新状态state为$s_{t+1}$，并给agent奖励$r_t$
• 状态、动作奖励等变量如果被观测到了就用小写字母表示，没被观测到就是随机变量用大写字母表示

三、 强化学习的随机性来源

1. action

• action是由policy函数随机抽样得到的

  $$P[A=a|S=s]=\pi (a|s)$$

2. state transition

• 环境用状态转移函数$p(\cdot |s,a)$算出概率，用概率随机抽样得到下一个状态$S^{\prime }$

  $$P[S^{\prime }=s^{\prime }|S=s,A=a]=p(s^{\prime }|s,a)$$

四、 Rewards, Returns & Value Fuctions

1. Return

Return：回报（aka cumulative future reward，即未来累计奖励）

• $t$时刻的回报 $U_t=R_t+R_{t+1}+R_{t+2}+R_{t+3}+\cdots$ 从 $t$ 时刻的奖励开始一直加到结束
• 未来的奖励$R_{t+1}$没有现在的奖励$R_t$值钱→$R_{t+1}$的权重应低于$R_t$

Discounted return：折扣回报（aka cumulative discounted future reward）

• $\gamma$：折扣率，$\gamma \in [0,1]$，超参数，需要自己调
  • 未来的权重和现在一样：$\gamma =1$
  • 奖励越不重要，$\gamma$越小
• $t$时刻的折扣回报 $U_t=R_t+\gamma R_{t+1}+{\gamma }^2{R}_{t+2}+{\gamma }^3{R}_{t+3}+\cdots$

2. Value Function

Value Function：价值函数

$U_t$是随机变量，依赖于未来的所有动作$A_t,A_{t+1},A_{t+2},\cdots$以及未来的所有状$S_t,S_{t+1},S_{t+2},\cdots$

Action-value Function：动作价值函数

与当前的状态$s_t$和动作$a_t$以及policy函数$\pi$有关

$$Q_{\pi }(s_t,a_t)=E[U_t|S_t=s_t,A_t=a_t]$$

直观意义：已知policy函数$\pi$，$Q_{\pi }$给当前状态下所有的动作$a$打分，从而得知动作的好坏

Optimal action-value function：最优动作价值函数

对$Q_{\pi }$关于$\pi$求最大值，即选择使用让$Q_{\pi }$值最大的$\pi$

$$Q^{\ast }(s_t,a_t)=\underset{\pi }{\max }{Q}_{\pi }(s_t,a_t)$$

直观意义：观测到状态$s_t$后对动作$a$做评价，agent可以根据此对动作做出决策

State-value function：状态价值函数

对$Q_{\pi }$关于动作$A$求期望把$A$消掉，得到的$V_{\pi }$只与$\pi$和状态$s$有关

$$V_{\pi }(s_t)=E_A[Q_{\pi }(s_t,A)]=\sum _a\pi (a|s_t)\cdot Q_{\pi }(s_t,a)$$

$$V_{\pi }(s_t)=E_A[Q_{\pi }(s_t,A)]=\int \pi (a|s_t)\cdot Q_{\pi }(s_t,a)da$$

直观意义：

• 已知policy函数$\pi$，可以判断出当前的局势如何（状态越好数值越大）
• 判断policy函数$\pi$的好坏。$\pi$越好，$E_S[V_{\pi }(S)]$越大

五、 强化学习用AI控制agent

1. Policy-based learning

策略学习：学习policy函数$\pi (a|s)$，用$\pi$控制agent做动作：

• 每观测到一个状态$s_t$，把$s_t$作为policy函数的输入,$\pi$函数输出每一个动作的概率
• 用得到的概率做随机抽样得到$a_t\sim \pi (\cdot |s_t)$
• agent执行动作$a_t$

2. Value-based learning

价值学习：学习最优价值函数$Q^{\ast }(s,a)$，用$Q^{\ast }$控制agent做动作：

• 每观测到一个状态$s_t$，把$s_t$作为$Q^{\ast }$函数的输入，用$Q^{\ast }$函数对每一个动作做评价，得到每一个动作的Q值

• 选择让$Q^{\ast }$函数最大化的动作$a$作为下一个动作$a_t$：$a_t=argma{x}_a{Q}^{\ast }(s_t,a)$

• 强化学习的任务就是学习$\pi (a|s)$函数或$Q^{\ast }(s,a)$函数

• 强化学习的目的是学会怎样控制agent，让agent根据当前的状态$s_t$来做出相应的动作$a_t$，争取在未来得到尽量多的奖励

• 常用标准库：OpenAI Gym https://gym.openai.com/