强化学习笔记1：Multi-armed Bandits

1. 强化学习的元素

对应Sutton书的1.3节。

强化学习包括了两个基本元素 agent 和 enviroment，除此之外还包含有四个主要的子元素：

• policy : 定义了机器人在每个特定时刻的选择动作的策略。它可以看做是从环境的状态集合到可采取的动作集合之间的一个映射。
• reward signal :定义了强化学习问题的目标。在每一步动作，环境都会给机器人一个数值反馈( reward)，机器人的唯一目标就是将获取的reward总和最大化。直观的理解就是，reward定义了机器人每一步动作的"好"与“坏”。强化学习就是根据reward signal来调整policy。
• value function :相比于reward signal关注眼前的反馈，value function则是关注长期的、总体的反馈。简单地说，某个状态下的value是指从当前状态出发，机器人可以期望获取的reward的总和。也就是说，在某个状态，可能眼前的reward很低，但是value却很高，因为它的后续状态有很高的rewards。
• model of the environment : 是指环境行为的模拟(mimics)，或者说是推导(inferences)出环境的行为。举例来说，给定一个状态和动作，model可以给出下一个状态和回报。

2. Multi-armed Bandits

对应Sutton书的第2章。

名词解释：多臂赌博机问题(Multi-armed bandit problem ) ，假设有个老虎机并排放在我们面前,我们首先给它们编号,每一轮,我们可以选择一个老虎机来按,同时记录老虎机给出的奖励. 假设各个老虎机不是完全相同的,经过多轮操作后,我们可以勘探出各个老虎机的部分统计信息,然后选择那个看起来奖励最高的老虎机. 在多臂赌博机中,我们把老虎机称为臂。也被称为顺序资源分配问题(sequential resource allocation problem)，被广泛应用于广告推荐系统,源路由和棋类游戏中。

问题描述
现在有 k 个动作，每个动作被执行后都会得到一个期望的回报。定义：
$A_t$：在第 t 步选择的动作
$R_t$：在第 t 步选择的动作得到的相应回报
$q_{\ast }(a)$：动作 a 的 value，显然 $q_{\ast }(a)=\mathbb{E}[R_t|A_t=a]$
$Q_t(a)$：在第 t 步执行动作 a 的 value 的估计值。假设我们无法获取每一个动作的准确的 value 值（否则问题就不需要考虑了，只需要选择 value 最大的动作即可），我们只能估计每一个动作的 value 值。我们的目标就是希望 $Q_t(a)$ 和 $q_{\ast }(a)$ 尽量接近。

贪婪动作(greedy action) ：在每一步，估计 value 值最高的动作。

利用(exploiting) 和 探索(exploring) ：在每一步，如果我们选择贪婪动作，则称为是利用 (exploiting) 已有知识，否则称为是探索 (exploring) 新的知识。因为只有在探索时，我们才会更新那些非贪婪动作的 value。利用可以在眼前这一步获得最大回报，但是探索可以帮助我们从长期的过程中获得最大的整体回报。但是，在每一步动作中，我们不能同时使用利用和探索，所以这是一件矛盾的事情，也是强化学习算法需要重点面对的问题。

样本均值(sample-average)估计法：每个动作 $a$ 的 value 是其被执行时所获得回报的平均值：
$$Q_t(a):=\frac{\text{sum of rewards when a taken prior to t}}{\text{number of times a taken prior to t}}=\frac{{\sum }_{i=1}^{t-1}{R}_i\bullet 1_{A_i=a}}{{\sum }_{i=1}^{t-1}{1}_{A_i=a}}$$
上述公式中，如果分母为0，则我们将$Q_t(a)$设定为一些默认值，比如0；如果分母趋向无穷大，根据大数定律，$Q_t(a)$ 收敛于 $q_{\ast }(a)$。

贪婪动作可表示为$A_t:={\mathrm{argmax}}_a{Q}_t(a)$

贪婪动作选择通常利用已有知识而使得眼前的回报最大化，不会在那些“貌似低价值”的动作(sampling apparently inferior actions to)上花费时间，不会去验证它们也许是更好的动作。一个改进的办法是，在绝大多数时间下，选择贪婪动作，而在一些随机时间里（比如概率为 $ϵ$ 的情况下）随机选择一个动作（不管当前的 action-value estimate 如何）。这种近似于贪婪算法的方法被称为 $ϵ$-greedy方法。这种方法的好处是，随着执行步数的持续增加，每一个动作被执行的次数也将接近无限，保证了$Q_t(a)$ 收敛于 $q_{\ast }(a)$。这保证了选择出最优策略的概率的收敛值将大于 $1-ϵ$，近似于确定。

【习题2.1】In $ϵ$-greedy action selection, for the case of two actions and $ϵ=0.5$, what is the probability that the greedy action is selected?
解答：贪婪动作被选中的概率为(1- $ϵ$)+$ϵ\ast \frac{1}{2}=0.5+0.5\ast 0.5=0.75$.

【习题2.2】Bandit example Consider a $k$-armed bandit problem with $k=4$ actions, denoted 1, 2, 3, and 4. Consider applying to this problem a bandit algorithm using $ϵ$-greedy action selection, sample-average action-value estimates, and initial estimates of $Q_1(a)=0$, for all a. Suppose the initial sequence of actions and rewards is $A_1=1,R_1=1,A_2=2,R_2=1,A_3=2,R_3=2,A_4=2,R_4=2,A_5=3,R_5=0$. On some of these time steps the $ϵ$ case may have occurred, causing an action to be selected at random. On which time steps did this defi nitely occur? On which time steps could this possibly have occurred?
解答：可以计算出每一步的value估计值：
$Q_2(1)=1,Q_2(2)=0,Q_2(3)=0,Q_2(4)=0$， greedy-action：1， selected-action:2
$Q_3(1)=1,Q_3(2)=1,Q_3(3)=0,Q_3(4)=0$， greedy-action：1或2， selected-action:2
$Q_4(1)=1,Q_4(2)=1.5,Q_4(3)=0,Q_4(4)=0$， greedy-action：2 ， selected-action:2
$Q_5(1)=1,Q_5(2)=\frac{5}{3},Q_5(3)=0,Q_5(4)=0$， greedy-action：2 ， selected-action:3
所以，可以看出来：第2、5步肯定使用了探索策略；第3步可能采用了探索策略。

【The 10-armed Testbed】为了比较 greedy方法 和 $ϵ$-greedy方法，书中2.3用了这样一个例子：样本数为 2000 的 $k$-armed bandit problem，其中$k=10$。每一个动作的 value $q_{\ast }(a),a=1,2,...,10$满足均值为0、方差为1的高斯分布，进而每一步的回报 $R_t$ 满足均值为 $q_{\ast }(A_t)$、方差为1的高斯分布。分布图如下

执行的效果图如下：

【习题2.3】In the comparison shown in Figure 2.2, which method will perform best in the long run in terms of cumulative reward and probability of selecting the best action? How much better will it be? Express your answer quantitatively.

样本均值的计算：
$$Q_n=\frac{R_1+R_2+...+R_{n-1}}{n-1}$$
简单推导可得知
$$Q_{n+1}=Q_n+\frac{1}{n}\left[R_n-Q_n\right](2.3)$$
更一般的公式是：

其中$\left[Target-OldEstimate\right]$是偏差项(error)。

上面讨论的都是静态赌博机问题（也就是说，每个赌博机的回报概率分布是不变的），但是我们也经常遇到非静态的情况。这种情况下，就需要对邻近的回报给予更高的权重，对较远时间的回报给予较低的权重。通常的一种做法就是：使用常数作为 step-size参数。比如说将(公式2.3)改进为：
$$Q_{n+1}=Q_n+\alpha \left[R_n-Q_n\right](2.5)$$
其中 step-size参数$\alpha \in \left(0,1\right]$是一个常数。通过简单的推导，可以得到
$$Q_{n+1}=(1-\alpha {)}^n{Q}_1+\sum _{i=1}^n\alpha (1-\alpha {)}^{n-i}{R}_i(2.6)$$
注意到(2.6)中所有权重的系数满足$(1-\alpha {)}^n+{\sum }_{i=1}^n\alpha (1-\alpha {)}^{n-i}=1$，所以我们称这种估计法为加权均值法，也称为指数最近加权平均（exponential recency-weighted average）。

记号： ${\alpha }_n(a)$表示在第$n$步选择动作$a$后获得的回报的step-size参数。
在样本均值法中，${\alpha }_n(a)=\frac{1}{n}$，根据大数定律，它保证$Q_n$收敛于动作的真实价值(true action value)。但是，并不是所有的${\alpha }_n(a)$都能保证最终的收敛性。随机逼近理论中的一个重要结果告诉我们，保证概率为1的收敛性的必要条件是：
$$\sum _{i=1}^{\infty }{\alpha }_n(a)=\infty \text{and}\sum _{i=1}^{\infty }{\alpha }_n^2(a)<\infty (2.7)$$
第一个条件要求steps足够大从而克服任何初始条件和随机波动的影响，第二个条件要求steps变得越来越小从而能保证收敛性。
显然，${\alpha }_n(a)=\frac{1}{n}$ 满足上面的两个条件，但是${\alpha }_n(a)=\alpha$不满足。此外，满足(2.7)的步长参数通常收敛速度比较慢，通常只适用于理论研究，在实战中很少使用。

小结：

	${\alpha }_n(a)$	递归公式	价值函数
样本均值法	$\frac{1}{n}$	$Q_{n+1}=Q_n+\frac{1}{n}\left[R_n-Q_n\right]$	$Q_n=\frac{R_1+R_2+...+R_{n-1}}{n-1}$
加权均值法	$\alpha$	$Q_{n+1}=Q_n+\alpha \left[R_n-Q_n\right]$	$Q_{n+1}=(1-\alpha {)}^n{Q}_1+{\sum }_{i=1}^n\alpha (1-\alpha {)}^{n-i}{R}_i$

【习题2.4】If the step-size parameters ${\alpha }_n$, are not constant, then the estimate $Q_n$ is a weighted average of previously received rewards with a weighting dierent from that given by (2.6). What is the weighting on each prior reward for the general case, analogous to (2.6), in terms of the sequence of step-size parameters?
解答：
$Q_{n+1}=Q_n+{\alpha }_n[R_n-Q_n]$
$={\alpha }_n{R}_n+(1-{\alpha }_n)Q_n$
$={\alpha }_n{R}_n+(1-{\alpha }_n)\left[Q_{n-1}+{\alpha }_{n-1}[R_{n-1}-Q_{n-1}]\right]$
$={\alpha }_n{R}_n+(1-{\alpha }_n){\alpha }_{n-1}{R}_{n-1}+(1-{\alpha }_n)(1-{\alpha }_{n-1})Q_{n-1}$
$={\alpha }_n{R}_n+(1-{\alpha }_n){\alpha }_{n-1}{R}_{n-1}+(1-{\alpha }_n)(1-{\alpha }_{n-1})\left[Q_{n-2}+{\alpha }_{n-2}[R_{n-2}-Q_{n-2}]\right]$
$={\alpha }_n{R}_n+(1-{\alpha }_n){\alpha }_{n-1}{R}_{n-1}+(1-{\alpha }_n)(1-{\alpha }_{n-1}){\alpha }_{n-2}{R}_{n-2}$
$+(1-{\alpha }_n)(1-{\alpha }_{n-1})(1-{\alpha }_{n-2})Q_{n-2}$
$=.......$
$={\alpha }_n{R}_n+(1-{\alpha }_n){\alpha }_{n-1}{R}_{n-1}+...+(1-{\alpha }_n)(1-{\alpha }_{n-1})...(1-{\alpha }_2){\alpha }_1{R}_1$
$+(1-{\alpha }_n)(1-{\alpha }_{n-1})...(1-{\alpha }_1)Q_1$
整理结果
$$Q_{n+1}=(1-{\alpha }_1)...(1-{\alpha }_n)Q_1+\sum _{i=1}^n\left(\frac{(1-{\alpha }_1)...(1-{\alpha }_n)}{{\prod }_{j=1}^i(1-{\alpha }_j)}\right){\alpha }_i{R}_i$$
可以检验，当 ${\alpha }_n=\alpha$ 为常数序列时，上式就是公式(2.6)。

【习题2.5 (编程)】Design and conduct an experiment to demonstrate the difficulties that sample-average methods have for nonstationary problems. Use a modi ed version of the 10-armed testbed in which all the $q_{\ast }(a)$ start out equal and then take independent random walks (say by adding a normally distributed increment with mean zero and standard deviation 0.01 to all the $q_{\ast }(a)$ on each step). Prepare plots like Figure 2.2 for an action-value method using sample averages, incrementally computed, and another action-value method using a constant step-size parameter,  $\alpha =0.1$. Use $ϵ=0.1$ and longer runs, say of 10,000 steps.

目前介绍的方法都在某种程度上依赖于最初的 action-value 估计 $Q_1(a)$，用统计学的语言讲，就是这些方法被初始估计所偏置(biased)。对于样本均值法而言，如果所有的动作都至少被执行一次，那么这种偏置(bias)就会消失；但是对于常数加权均值法，这种偏置是持久的，只会随着执行步数的增加逐渐减弱(公式2.6)。在实战中，这种偏置通常不是问题甚至有时会非常有用，这是因为一方面这些初始估计通常都是用户精选的一组参数，另一方面初始估计是一种简单的途径为回报期望值提供一些先验知识。

初始动作值通常也可以用来鼓励探索，比如在前面的 10-armed testbed 问题中，如果我们将初始值全部设置为 $+5$，而不是全 0。回忆一下，这个问题中的 $q_{\ast }(a)$ 服从均值为0、方差为1的高斯分布，初始值为 $+5$ 会乐观很多。但是，这种乐观又会导致过多的探索。不管初始值如何选取，回报总是小于初始估计值，机器人转向其它动作获取的回报变少就会变得“失望”。结果就是在估值函数收敛之前，每个动作都被尝试了很多次。即使每次都选择贪婪算法，机器人仍然会做相当数量的探索。

从上图中可以看出，一开始乐观初始值(optimistic initial values)方法表现的比较差，因为它需要更多的探索，但是最终它的表现较好，因为随着时间的推移，它的探索逐渐变少。但是，这仅仅是一个小技巧，只在静态问题中比较有效，对于更普遍的问题就无法鼓励探索了。事实上，任何一种从特殊途径关注初始值的方法都对一般的非静态问题没有帮助。初始态只会出现一次，所以我们不必过于关注它。

【习题2.6 】Mysterious Spikes The results shown in Figure 2.3 should be quite reliable because they are averages over 2000 individual, randomly chosen 10-armed bandit tasks. Why, then, are there oscillations(波动) and spikes(震荡) in the early part of the curve for the optimistic method? In other words, what might make this method perform particularly better or worse, on average, on particular early steps?

上限置信区间（Upper-Con dence-Bound）：UCB算法不仅考虑每个动作当前的平均收益，也考虑该收益的不确定性。计算公式如下：
$$A_t:={\mathrm{argmax}}_a\left[Q_t(a)+c\sqrt{\frac{\ln t}{N_t(a)}}\right]$$
其中 $\ln t$ 是自然对数，$N_t(a)$ 表示到时间 $t$ 时动作 $a$ 被选择的次数，$c>0$用来控制探索的程度。
UCB的主要目的就是要平衡探索和利用，它的设计思想是：

• 当某个动作 $a$ 的平均收益 $Q_t(a)$ 比较大时，在选择时占有优势
• 当某个动作 $a$ 被选择的次数 $N_t(a)$ 比较小时，那么对应的平均收益的不确定性比较大（对应右式），在选择时占有优势
  

梯度赌博算法（Gradient Bandit Algorithms）
用 $H_t(a)$ 表示在时间点 $t$ 时对动作 $a$ 的数值偏好(numerical preference)，定义soft-max分布如下：
$${\pi }_t(a):=\mathrm{Pr}\{A_t=a\}:=\frac{e^{H_t(a)}}{{\sum }_{b=1}^k{e}^{H_t(b)}}$$
表示在时间 $t$ 时选择动作 $a$ 的概率，并且对所有 $a$，取初始值 ${\pi }_1(a)=0$。

【习题2.7】Show that in the case of two actions, the soft-max distribution is the same as that given by the logistic, or sigmoid, function often used in statistics and arti cial neural networks.
解答：当 $k=2$ 时，假设动作集为 $\{0,1\}$，那么按照定义
$${\pi }_t(0)=\frac{e^{H_t(0)}}{e^{H_t(0)}+e^{H_t(1)}}=\frac{1}{1+e^{-(H_t(0)-H_t(1))}}$$
等同于logistic分布。当 $H_t(0)$ 足够大，$H_t(1)$足够小时，${\pi }_t(0)$趋向于1；反之，当 $H_t(0)$ 足够小，$H_t(1)$足够大时，${\pi }_t(0)$趋向于0；当 $H_t(0)$ 和 $H_t(1)$ 接近时，${\pi }_t(0)$趋向于$\frac{1}{2}$。

基于随机梯度下降法，可以引申出一个自然的学习算法。在每一步，假设选择动作 $A_t$ 后获得的回报为 $R_t$，我们更新每个动作的偏好值为（公式 2.10）：
$$H_{t+1}\left(A_t\right):=H_t\left(A_t\right)+\alpha \left(R_t-{\bar{R}}_t\right)\left(1-{\pi }_t(A_t)\right)以及$$$$H_{t+1}(a):=H_t(a)-\alpha \left(R_t-{\bar{R}}_t\right){\pi }_t(a)，\text{对所有}a̸=A_t$$
其中 $\alpha >0$ 为步长参数，${\bar{R}}_t\in \mathbb{R}$ 是 $t$ 之前（包括 $t$）所有收益的平均值，它是用作比较收益的基准。如果当前的收益高于 ${\bar{R}}_t$，那么选择 $A_t$的概率就增加，反之就降低。没有选择的动作，将其偏好值往相反的方向更新。

公式 2.10 的推导：随机梯度上升(stochastic gradient ascent)
在第 $t$ 步收益的期望值为：
$$\mathbb{E}\left[R_t\right]=\sum _b{\pi }_t(b)q_{\ast }(b)$$
每个动作的数值偏好的迭代公式为：
$$H_{t+1}(a):=H_t(a)+\alpha \frac{\partial \mathbb{E}\left[R_t\right]}{\partial H_t(a)}(2.11)$$
但是我们不能直接用梯度上升法，因为根据假设我们并不知道$q_{\ast }(b)$。但是，如果从期望值的角度看，(公式 2.10) 等于 (公式 2.11)，这就是随机梯度上升的一个范例。
计算
$$\frac{\partial \mathbb{E}\left[R_t\right]}{\partial H_t(a)}=\frac{\partial }{\partial H_t(a)}\left[\sum _b{\pi }_t(b)q_{\ast }(b)\right]$$
$$=\sum _b{q}_{\ast }(b)\frac{\partial {\pi }_t(b)}{\partial H_t(a)}$$
$$=\sum _b\left(q_{\ast }(b)-X_t\right)\frac{\partial {\pi }_t(b)}{\partial H_t(a)}$$
其中 $X_t$ 可以是任何不依赖于 $b$ 的参数，这是因为 ${\sum }_b\frac{\partial {\pi }_t(b)}{\partial H_t(a)}=0$。
随着 $H_t(a)$ 的变化，某些动作的概率上升而某些动作的概率下降，但是总概率之和始终为1。
稍加改造上式，将其表达称一个期望值的形式，得到
$$\frac{\partial \mathbb{E}\left[R_t\right]}{\partial H_t(a)}=\sum _b{\pi }_t(b)\left(q_{\ast }(b)-X_t\right)\frac{\partial {\pi }_t(b)}{\partial H_t(a)}/{\pi }_t(b)$$
$$=\mathbb{E}\left[\left(q_{\ast }(A_t)-X_t\right)\frac{\partial {\pi }_t(A_t)}{\partial H_t(a)}/{\pi }_t(A_t)\right]$$
$$=\mathbb{E}\left[\left(R_t-{\bar{R}}_t\right)\frac{\partial {\pi }_t(A_t)}{\partial H_t(a)}/{\pi }_t(A_t)\right]$$
这里我们选择 $X_t={\bar{R}}_t$ 并且用 $R_t$ 替换 $q_{\ast }(A_t)$，之所以可以这么做是因为 $\mathbb{E}\left[R_t|A_t\right]=q_{\ast }(A_t)$ 并且所有 $R_t$ (给定 $A_t$) 之间没有关联。
Claim:
$$\frac{\partial {\pi }_t(b)}{\partial H_t(a)}={\pi }_t(b)\left(1_{a=b}-{\pi }_t(a)\right)$$
这是公式的证明是个easy job，这里从略。
利用这个公式，我们进一步有：
$$=\mathbb{E}\left[(R_t-{\bar{R}}_t){\pi }_t(A_t)(1_{a=A_t}-{\pi }_t(a))/{\pi }_t(A_t)\right]$$
$$=\mathbb{E}\left[(R_t-{\bar{R}}_t)(1_{a=A_t}-{\pi }_t(a))\right]$$
进而我们推导出，对所有的 $a$ 有
$$H_{t+1}(a)=H_t(a)+\alpha (R_t-{\bar{R}}_t)(1_{a=A_t}-{\pi }_t(a))$$