Introduction to Reinforcement Learning notes

PART 0

1 Introduction

RL，总体思想就是learning from interaction

1.1 Reinforcement Learning

还是有点没理解，什么是rl？定义的3个内容怎么理解？
rl和监督学习/非监督学习都不一样，监督学习是有label，无监督学习是想从数据中找到隐藏的结构，rl是专注于最大化激励
只在rl中出现的challenge：delimma between exploration and exploitation，既需要放弃已知的reward，而去explore more about env，又需要exploit已知的reward获得激励
一个比较新奇的点，rl让machine更有“常识”

1.2 Examples

rl是个典型的马尔可夫过程

1.3 Elements of Reinforcement Learning

policy、reward signal、value function、model
reward侧重短期的，value function侧重长期，action是基于value的，但是知道value比知道reward要难

1.4 Limitations and Scope

rl和evolutionary methods不同，rl learn while interacting with the env, while evolutionary methods don’t。rl非常依赖stat，也就是依赖useful info from history to take action

1.5 An Extended Example: Tic-Tac-Toe

主要介绍rl和evolutional method的区别、rl的概念，没太看懂

1.6 Summary

1.7 Early History of Reinforcement Learning

Part I: Tabular Solution Methods

这部分是stat & action spaces都能写成array或者table，能找到最优解

Chapter 2 Multi-armed Bandits

rl和其他学习方式的不同点在于：training data不是用来“指导”下一步该干什么，而是用来“引导”下一步干什么。引导是这样：告诉你做的这一步有多好/有多差，而不是告诉你这是最好/最差的做法。指导是这样：在你没干之前就告诉你正确的做法是什么。

2.1 A k-armed Bandit Problem

k-armed bandit problem含义：你面临多个选择题，每个选择题有k个选项，每选择一次后都有概率获得reward，你的目的就是最大化n次选择后的reward总额
假设你不知道每次选择获得的reward大小，但你对reward大小有个基本猜测，如果每次你都选择猜测值最高的选择，那么可以看作是一种贪心策略，这种行为是1.1中提到的exploit，反之，如果不选择猜测reward最高的选项，就是explore，因为这种选择可以帮助你更好的猜测选择reward
平衡exploration和exploitation是rl的一个难点，考虑的因素通常包括：对reward的估测值、不确定性、剩余选择次数等等，比较复杂，本书不详细考虑这个。

2.2 Action-value Methods

action-value methods含义：评估action value，并且利用value行动的方法
定义：在t时间采取a行动的value为$Q_t(a)$，具体定义如下：
$$Q_t(a)=\frac{在t之前采取a行动的reward之和}{在t之前采取a行动的次数之和}$$
$Q_t(a)$的定义不是唯一的，还有其他的定义，不再赘述
如何用$Q_t(a)$帮助选择action呢？
最简单的方法：贪婪策略，选择最高$Q_t(a)$的action
贪婪策略的缺点在于：全部精力用来exploit，没有explore，所以提出一个改进的$ϵ-greedy$策略，即每回有$ϵ$的概率不走贪婪策略，而是随机从现有的action中抽出1个走，这样可以稍微平衡一下explore和exploit

Exercises

2.1：如果当前只有2个action可选，$ϵ=0.5$，则选中greedy action的概率是多少？
答案

Chapter 3 Finite Markov Decision Processes

和bandit problem不同的是，bandit problem的value是$q_{\ast }(a)$，即value仅和action有关。在MDP中，value是$q_{\ast }(s,a)$，即value同时和action、stat有关。

3.1 The Agent–Environment Interface

MDP的过程其实就是：
$$S_0,A_0,R_0,S_1,A_1,R_1,\dots$$
即agent处于$S_0$，采取了action $A_0$，获得了reward $R_0$，然后环境变为$S_1$，再继续下去……有限MDP就是这个过程是有限的，MDP就是当前状态仅与前一个状态有关，定义存在下面这样的转移概率$p$:
$$p(s^{{}^{\prime }},r|s,a)=P_r\{S_t=s^{{}^{\prime }},R_t=r|S_{t-1}=s,A_{t-1}=a\}=\sum _{r\in R}p(s^{{}^{\prime }},r|s,a)$$

3.2 Goals and Rewards

设置的reward决定了agent会做什么事，设置的reward应该是你希望agent 做到 的事情，而不是agent 怎样 做到这件事。比如如果希望agent下棋赢，那么应该设置赢了reward + 1，而不能设置走哪一步reward + 1

3.3 Returns and Episodes

关注总回报，也即return G：
$$G_t=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\cdots =\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}$$
比之前增加了$\gamma$变量，$\gamma$是discount，$\gamma \in [0,1]$，$\gamma$决定了未来能获得的value现在就被获得后值得的价值。也就是说：如果这个reward在k个时间点后获得，那么如果现在立刻获取它，现在它的价值只有${\gamma }^{k-1}\ast value$
为啥提前获取value会导致value下降啊？

提前获取value导致value下降的原因（在课程视频里讲到）为：
1. 数学上方便
2. avoid 在小圈圈里不停赚value
3. 模拟未来不确定性
4. 如果reward是经济上的，往往先获得比后获得好（吃利息！）
5. 动物/人类的行为都更偏好眼前value，if all sequence terminates, 有时可以用undiscounted Markov，即γ=1 . 

如果$\gamma =0$, 代表我们完全不关心未来，只看当下的value，策略就变为最大化$R_{t+1}$。反之，如果$\gamma =1$， 则表示most farsighted strategy
各个time step之间的return相互影响，原因是：
$$\begin{array}{rl}{G}_t& =\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}\\ & =R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\dots \\ & =R_{t+1}+\gamma (R_{t+2}+\gamma R_{t+3}+{\gamma }^2{R}_{t+4}+\dots )\\ & =R_{t+1}+\gamma G_{t+1}\end{array}$$
注意

1. 为了数学上方便，定义$G_T=0$
2. 虽然$G_t$是无穷项之和，但当$\gamma <1$，且reward是非0的常数时，$G_t$是有限的。即如果reward是常数C，则$G_t=C\ast \frac{1}{1-\gamma }$，证明可见execrise3.10

Exercises

3.8 Suppose $\gamma =0.5,R_1=-1,R_2=2,R_3=6,R_4=3,R_5=2,T=5$，求$G_0,G_1,\dots ,G_5$
答案
3.9 假设$\gamma =0.9,R_1=2$, $R_1$后是infinite sequence of rewards, 每个reward都是7, 求$G_1,G_0$
答案
3.10 证明：当reward为常数+1时，无限序列的$G_t=\frac{1}{1-\gamma }$
答案

3.4 Unified Notation for Episodic and Continuing Tasks

前一章提到了有finite reward sequence和infinite reward sequence，这里把两者统一起来。可以把finite reward sequence停止的部分，看作是一个absorbing stat，即该节点无限循环reward = 0，此时，可以把$G_t$写为：
$$G_t=\sum _{k=t+1}^T{\gamma }^{k-t-1}{R}_k$$
这里T可以取$\infty$（代表此时是infinite），$\gamma$可以取1（代表此时是undiscount），但是两者不能同时取

3.5 Policies and Value Functions

定义：
记在stat S 下采取policy $\pi$的value function为$v_{\pi }(s)$, 对stat-value function $v_{\pi }(s)$有：
$$v_{\pi }(s)=E_{\pi }(G_t|S_t=s)=E_{\pi }(\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s),foralls\in S$$
类似地有action-value function $q_{\pi }(s,a)$:
$$q_{\pi }(s,a)=E_{\pi }(G_t|S_t=s,A_t=a)=E_{\pi }(\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s,A_t=a)$$
由bellman equation，可以将$v_{\pi }(s)$及$q_{\pi }(s,a)$写为和自身t+1相关的形式，即：
$$\begin{array}{rl}{v}_{\pi }(s)& =E_{\pi }(R_{t+1}+\gamma v_{\pi }(S_{t+1})|S_t=s)\\ q_{\pi }(s,a)& =E_{\pi }(R_{t+1}+\gamma q_{\pi }(S_{t+1},A_{t+1})|S_t=s,A_t=a)\end{array}$$
对stat-value function $v_{\pi }(s)$，写为matrix form有：$v_{\pi }=R^{\pi }+\gamma P^{\pi }{v}_{\pi }$，进一步有$v_{\pi }=(I-\gamma P^{\pi }{)}^{-1}{R}^{\pi }$

3.6 Optimal Policies and Optimal Value Functions

解决rl问题其实就是找到能够获得最大value的policy，定义policy之间的比较规则如下：
$$\pi \ge {\pi }^{{}^{\prime }}if{v}_{\pi }(s)\ge v_{{\pi }^{{}^{\prime }}}(s),\forall s$$
即policy1 better than policy2，当且仅当任意stat下该policy的stat-value funciton都大
定理：

1. 在任意MDP中，至少存在一个optimal policy
2. 存在optimal stat-value function（可能存在多个optimal policy，all optimal policy share same optimal stat-value function）
3. 存在optimal action-value function（可能存在多个optimal policy，all optimal policy share same optimal action-value function）

3.7 Optimality and Approximation

由于算力、内存的限制，求出最优解是不现实的。RL选择在频繁出现的stat中作出较好选择，不管那些不怎么经常出现的stat，这一点也是RL和其他解决MDP的方法的区别之一

3.8 Summary

没什么好说的了

Exercise Answers

2.1
$P=0.5\ast 0.5+0.5\ast 1=0.75$
分2种情况，当explore时（0.5走explore之路），选中greedy action的概率是0.5，当exploit（0.5走exploit之路）时，选中greedy action的概率是100%，两个相加就能算出来了
3.8
由定义有：$G_5=0$，对其他$G$，有：
$$\begin{array}{rl}{G}_4& =R_5+\gamma G_5=2+0.5\ast 0=2\\ G_3& =R_4+\gamma G_4=3+0.5\ast 2=4\\ G_2& =R_3+\gamma G_3=6+0.5\ast 4=8\\ G_1& =R_2+\gamma G_2=2+0.5\ast 8=6\\ G_0& =R_1+\gamma G_1=-1+0.5\ast 6=2\end{array}$$
利用$G_t$的公式即可
3.9
序列从t = 2开始infinite，故$G_2=7\ast \frac{1}{1-\gamma }=7\ast \frac{1}{0.1}=70$，再向前计算$G_1,G_0$:
$$\begin{array}{rl}{G}_1& =R_2+\gamma \ast G_2=7+0.9\ast 70=70\\ G_0& =R_1+\gamma \ast G_1=2+0.9\ast 70=65\end{array}$$
3.10
证明：
$$\begin{array}{rl}{G}_t& =\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+1+k}=\sum _{k=0}^{\infty }{\gamma }^k\\ & =\sum _{k=0}^{\infty }\frac{{\gamma }^k(1-\gamma )}{1-\gamma }\\ & =\sum _{k=0}^{\infty }\frac{{\gamma }^k-{\gamma }^{k+1}}{1-\gamma }\\ & =\underset{k\to \infty }{\lim }\frac{1-{\gamma }^k}{1-\gamma }=\frac{1}{1-\gamma }\end{array}$$
注意，若reward是常数C，则类似地：$G_t=C\ast {\sum }_k^{\infty }{\gamma }^k=\cdots =C\ast \frac{1}{1-\gamma }$