《强化学习》-读书笔记-第二章 多臂赌博机

二. 多臂赌博机

在只有一个状态的简化情况下讨论强化学习中评估和反馈的诸多性质。

2.1 一个k臂赌博机问题

重复的在K个动作中进行选择，每一次选择后都会得到一定数值的收益，目标是在一段时间内最大化总收益的期望（隐含背景：每个动作的平均收益不同）。

K个动作中每一个被选择时有一个期望收益或平均收益，称为该动作的“价值”。

• 如果知道每个动作的价值，每次选择直接选价值最高的动作；
• 如果不知道每个动作的价值，就对每个动作的价值进行估计；

时刻$t$的动作记作$A_t$，对应的收益记作$R_t$，某一动作的价值记作$q_{\ast }(a)$，对该价值的估计记作$Q_t(a)$

每次选择估计价值最高的动作，称为贪心的动作。

• 每次选择贪心的的动作，称为开发；
• 如果有一定概率选择非贪心动作，称为试探（$ϵ$-贪心）；
• 试探在短期内收益较低，但长远来看收益更高，因为在发现更好的动作后，可以多次利用它；
• 开发和试探的平衡是强化学习中的一个问题

2.2 动作-价值方法

利用对动作价值的估计来进行动作的选择，这一类方法统称为“动作-价值方法”

一种对动作价值进行估计的方法是：计算实际收益的平均值

• 该方法称为采样平均法，这只是估计动作价值的一种方法，不一定是最好的方法

贪心动作选择方法：$A_t\dot{=}argma{x}_a{Q}_t(a)$

$ϵ$-贪心动作选择方法：以 $ϵ$ 的概率从所有的动作中等概率随机做出选择

2.3 10臂测试平台

• 一共有10个动作，k=10
• 每个动作 $q_{\ast }(a),a=1,2,...,10$ 的真实价值服从均值为0，方差为1的标准正态分布
• 在一次试验中，首先随机确定每个动作的价值，而实际收益 $R_t$ 则由均值为该动作价值，方差为的正态分布决定
• 一次试验进行1000步，在交互中积累经验
• 试验共进行2000次
  
  比较贪心算法和 $ϵ-$ 贪心算法的平均收益，如下所示：
  
• $ϵ-$贪心算法平均收益更高，发现最优动作的概率更高
• 如果收益的噪声更多，或者收益是一个非平稳的过程，则试探是很有必要的

PS： 书中描述 $ϵ=0.01$ 比 $ϵ=0.1$表现更好，我认为该观点是错误的；从图中来看，$ϵ=0.1$明显平均收益更高，更大概率发现最优动作，表现更好。

2.4 增量式实现

假设$Q_n$为被选择$n-1$次后，某个动作的价值的估计，则有：
$$Q_{n+1}=Q_n+\frac{1}{n}[R_n-Q_n]$$
一般形式为：
$$新估计值=旧估计值+步长\ast [目标-旧估计值]$$

跟踪一个非平稳问题

取平均值方法对于动作价值平稳的情况适用，但对于收益的概率分布随时间变化的问题不再适用。解决办法是相比于过去很久的收益，给近期收益更高的权重，比如固定步长。
$$\begin{gathered} Q_{n+1}=Q_n+\alpha [R_n-Q_n] \\ =(1-\alpha {)}^n{Q}_1+\sum _{i=1}^n\alpha (1-\alpha {)}^{n-i}{R}_i \end{gathered}$$
其中，$\alpha \in (0,1]$。

乐观初始值

初始动作价值提供了一种简单的试探方式，比如将初始动作价值设置较高，实际动作价值较低，就会对每一个动作进行尝试，进行大量试探。但是该方法只对平稳问题有效，不太适合非平稳问题。

基于置信度上界（UCB）的动作选择

$$A_t=\underset{a}{\mathrm{argmax}}[Q_t(a)+c\sqrt{\frac{\ln t}{N_t(a)}}]$$
其中，$\ln t$表示$t$的自然对数，$N_t(a)$表示时刻$t$之前动作$a$被选择的次数，$c$是大于0的数。
随着时间的流逝，具有较低价值估计的动作或者已经被选择了更多次的动作被选择的频率较低。

• 处理非平稳问题，需要更复杂的方法；
• 另一个难题是处理大的状态空间，尤其是函数近似问题；

梯度赌博机算法

针对每个动作学习一个偏好函数$H_t(a)$，偏好函数越大，动作就越频繁地被选择。
$$\begin{gathered} H_{t+1}(a_T)=H_t(A_t)+\alpha (R_t-{\bar{R}}_t)(1-{\pi }_t(A_t)), \\ {H}_{t+1}(a)=H_t(a)-\alpha (R_t-{\bar{R}}_t){\pi }_t(a),所有a\ne A_t \end{gathered}$$
${\bar{R}}_t$作为比较收益的基准项，如果收益高于它，那么未来选择动作$A_t$的概率就会增加，反之概率就会降低，未选择的动作被选择的概率上升。