【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用

1. 本文将强化学习方法(MC、Sarsa、Q learning)应用于“S21点的简单纸牌游戏”。

类似于Sutton和Barto的21点游戏示例,但请注意,纸牌游戏的规则是不同且非标准的。

2. 为方便描述,过程使用代码截图,文末附链接。(如果耐心读完的话)

一. S21环境实现

游戏的规则我们设置如下:

  1. 游戏是用无限副牌进行的(即用替换牌进行采样)
  2. 从牌组中抽取的每一张牌的值都在1到10之间(均匀分布),颜色为红色(概率0.4)或黑色(概率0.6)。
  3. 此游戏中没有王牌或图片牌。
  4. 在游戏开始时,玩家和发牌人都抽到一张黑卡(双方都可以完全观察)
  5. 每轮玩家可以选择停止拿牌stick或继续拿牌hit
  6. 如果玩家hit,则从牌组中抽取另一张牌
  7. 如果玩家stick,她将不会收到更多的牌
  8. 黑色牌会增加玩家的牌值,红色牌不改牌值(等于无效)
  9. 如果玩家的总和超过21,或小于1,则她将输掉游戏(奖励-1)
  10. 如果玩家stick,则发牌人开始它的回合。对于大于等于20的总和,庄家总是保持stick,否则就会继续拿牌hit。如果经销商爆牌,则玩家获胜;否则总和最大的玩家获胜。
  11. 获胜(奖励+1)、失败(奖励-1)或平局(奖励0)

相比复杂的21点游戏,本游戏主要简化如下:
1.    可以无视前面已发的牌的牌面,不需要根据开始拿到的牌来推断后续发牌的概率。
2.    庄家和玩家分开游戏,并非轮流决定拿牌还是弃牌。
3.    牌值从1-10,且1的值不会变化。
4.    庄家策略固定,总和<20时持续拿牌。

根据任务1,我们针对上述规则定义相关类如下:

【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第1张图片 图1 基本类型定义

环境类Envi功能如下:

  1. 主要记录当前玩家和庄家的卡牌,游戏是否结束。
  2. 在玩家每步step之后 ,返回新的状态、奖励、是否结束标志。
  3. 当玩家选择stick之后,将后续的所有庄家操作纳入环境中计算。(任务1要求)
【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第2张图片 图2 基本环境类

游戏的每步操作step逻辑如下:(其中在玩家决策内更新当前的奖励和状态,存储在环境类对象上)

【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第3张图片 图3  step逻辑


 

玩家的取牌、弃牌实现如下:

  1. 当玩家取牌时,增加一张牌到player_cards中,并且更新状态和奖励
  2. 当玩家弃牌时,转为庄家操作(取牌直到20以上),结束后判定胜负。
【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第4张图片 图4 取牌逻辑

实现发牌的操作如下图所示,在1-10之间选择卡牌,并且依照概率赋予颜色。开局必发黑牌。

【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第5张图片 图 5 发牌逻辑

最后,我们根据双方牌值,计算是否发生爆牌的情况或者胜负情况。若玩家仍可继续选择,则继续游戏,更新状态和奖励。

【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第6张图片 图 6 更新状态和奖励

二. 游戏代理实现

2.1 通用代理(玩家类)

我们定义通用代理具有选择动作和训练的基本方法。后续通过不同的策略代理进行继承并实现。(蒙特卡洛代理、Sarsa代理、Q-learning代理)

【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第7张图片 图 7 通用代理

2.2 蒙特卡洛代理

2.2.1 算法过程

蒙特卡洛方法是一种模型无关(Model Free)的方法,这意味着我们需要通过模拟多次环境交互来估计出策略价值函数。

评估基本步骤如下:

  1. 生成轨迹: 在每一轮蒙特卡洛模拟中,从环境的初始状态开始,根据当前的策略生成一个完整的轨迹(也称为episode)。轨迹包括状态、动作和即时奖励的序列,直到达到终止状态。
  2. 计算回报: 对于轨迹中的每个状态,计算从该状态开始的累积回报。回报是从当前状态开始,经过一系列动作和环境反馈后获得的奖励的总和 。在这一环节,我们采用First-Visit MC这种方法,只考虑在一个episode中首次访问某个状态时计算的回报。如果同一个状态在同一个episode中被多次访问,只有第一次访问的回报会被计算在内。这样的话,一个状态在一个episode中只有一个相关的回报值。
  3. 更新价值函数: 使用得到的回报更新每个状态的价值函数。具体地,对于每个状态,将其之前的价值估计更新为其在多次模拟中获得的平均回报。
  4. 重复模拟: 重复执行多次模拟,不断累积对状态价值函数的估计。
  5. 收敛: 当状态价值函数的估计不再发生显著变化时,认为蒙特卡洛策略评估已经收敛。

即基本过程如下:

【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第8张图片 图 8 蒙特卡洛 First-Visit 过程

基于上述分析,我们定义蒙特卡洛代理如下:

【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第9张图片 图 9 蒙特卡洛代理定义

其中属性为折扣因子(默认为1),贪心策略的参数ε,以及计算状态和选择动作的次数N、所有回报总和Gs以及状态价值函数V

2.2.2 动作选择

由于蒙特卡洛需要靠初始策略进行采样,我们设置其采样策略为epsilon 贪心的策略。此策略也可以保证玩家在前期尽可能地去探索,到达所有的牌值状态。

【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第10张图片 图 10 动作策略

2.2.3 Q值更新

由上图可知,我们采取求累计回报后,再平均更新Q值的方法。实现为:

【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第11张图片 图 11 Q值更新

为了提高性能,我们优化实现为增量式更新期望。

【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第12张图片 图 12 增量式更新

2.2.4 训练agent

训练方法设置如下,在每个迭代里面存储过往的数据到episode,并最后更新状态价值。由于初始的获胜率较低,我们在迭代过程中逐步降低epsilon,以在初期explore,后期exploit。

【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第13张图片 图 13 训练方法

2.2.5 测试agent

我们定义main方法,用于测试并为比较后续不同策略的agent表现。

【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第14张图片 图 14 main方法

在测试方法test_agent中,我们采取模型认为的最优策略进行游戏,测试10000局并统计游戏结果,计算模型胜率。

【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第15张图片 图 15 测试方法

执行结果如下,我们训练10万次后再测试1万次。并且统计每1万次的结局分布。不难发现结局为“庄家爆牌”的概率随着训练次数的增加而不断增加。

【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第16张图片 图 16 蒙特卡洛代理测试结果

我们可以看到庄家在小于20点持续拿牌的固定策略会导致庄家爆牌的概率极大,但是在不爆牌的情况下,庄家牌值大于玩家牌值的概率较大。综合两者,在多次测试后,可知蒙特卡洛代理的胜率可达66%

2.2.6 效果分析

为了便于分析,我们编写一个三维可视化的工具函数,主要绘制三幅图:

  1. x、y轴分别表示“庄家初始牌值”,“玩家牌值”,纵轴z轴表示选择第0个动作Action.STICK)的价值
  2. 平面的x、y轴分别表示“庄家初始牌值”,“玩家牌值”,纵轴z轴表示选择第1个动作Action.HIT)的价值
  3. 平面的x、y轴分别表示“庄家初始牌值”,“玩家牌值”,纵轴z轴表示选择两个动作的平均价值

主要代码如下:

【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第17张图片 图 17 可视化比较

呈现效果如下:

【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第18张图片 图 18 三图比较

下面我们逐个分析:

  • Action.Stick:操作的q值均为正,当牌值逼近21的时候,q值可达到0.8附近,由于+1为胜利的奖励,这也预示着此时胜利概率极大。而由于庄家采取的是低于20牌值持续拿牌的激进策略(容易爆牌)。这意味着选择一个适中的牌值就停止拿牌是一个好的策略。
图 19 Action Stick

  • Action.HIT:操作中Q值存在一些负值,尤其是玩家牌值接近20时,此时拿牌大概率会爆牌,故接近失败的惩罚-1。而在初始牌值小于10的时候,颜色均为浅绿色,此时的agent拿牌会得到一定的奖励。
图 20 Action Hit
  • 平均价值:
    • 对比庄家牌轴后,可知在本次实验环境下,仅依靠庄家的初始牌的信息,对玩家决策的意义较小。
    • 当玩家牌值约为10时,此时价值较高。牌值从17到20,风险高,Q值较低。
图 21 平均状态价值

最后通过FuncAnimation库函数实现每隔1000次训练记录,总计100帧的gif。可以看到,随着时间迭代,agent采取单个动作的q_value坡度会渐渐变得平缓。而由于HIT与STICK方法在逼近21点牌值后的决策结果会有较大的不同,所以导致平均价值即便在后期有锯齿状的表面。(相较后续的TD方法,收敛十分平缓。)

图 22 随时间迭代的q_value变化

2.3 Sarsa代理

2.3.1 算法过程

State-Action-Reward-State-Action这个名称清楚地反应了其学习更新函数依赖的5个值,分别是当前状态S1,当前状态选中的动作A1,获得的奖励Reward,S1状态下执行A1后取得的状态S2及S2状态下将会执行的动作A2。

这是一种在线更新Q值的算法,算法流程大致如下:

【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第19张图片 图 23 Sarsa算法流程

其中在每个episode中,都通过episilon贪心策略选择一个动作,并通过G乘以α(学习率)来更新状态价值Q,重复步骤直到收敛。这里的预期回报G是单步TD0,即只考虑未来一步收益的。

2.3.2 训练agent

显然,Sarsa代理的最佳决策依旧是选择最优的Q值,而与蒙特卡洛不同只是更新方法。故这里仅展示Sarsas的核心代码,不再赘述相同部分。

如下所示,为依据上述算法流程实现的训练代码。需要注意的是,当这个状态是最后一个状态时,我们需要判断是否为结束,并且去除公式中下一个状态的Q值。

【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第20张图片 图 24 训练代码

我们依据公式:Q(S,A)\gets Q(S,A)+\alpha[R+\gamma Q(S^\prime,A^\prime)-Q(S,A)]

实现如下更新Q值函数:

【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第21张图片 图 25 Q值更新函数

2.3.3 效果分析

依据上述相同方法,训练10万次并每隔1万次记录对局结果。结果如下:Sarsa的胜率约为0.63,比MC方法(0.66)稍低一点。但是联合MC方法的测试结果可知,胜利原因大部分是因为庄家爆牌而引起。

【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第22张图片 图 26 测试结果

同MC方法进行可视化,可以得到动作STICK、HIT以及平均的状态价值图。

【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第23张图片 图 27 可视化图像

由上图可知,

  1. 动作STICK和HIT的最优价值分布的牌值区间恰好相反:
    1. 对于STICK操作而言,牌值越小,STICK奖励越低。牌值接近21时,STICK操作价值越高。
    2. 对于HIT操作而言,牌值越大,HIT奖励越低。牌值越小,HIT操作价值越高。
  2. 两者均在牌值约为12的情况下,产生较大的价值差异。分析可知,当牌值取得12时,HIT操作就有可能溢出。
  3. 从平均结果来看,保持牌值在11以下的平均价值大于高牌值的情况。
  4. 相比于MC方法的可视化图像,Sarsa方法的价值平面明显更加平滑

我们取100帧(每帧迭代训练1000次),fps=5的图像叠加为gif查看价值函数的动态收敛过程,除去平均结果外,但看动作STICK与HIT都可清晰地观测到其中变化幅度较大。

图 28 动态收敛过程

2.4 Q-learning代理

2.4.1 算法流程

和Sarsa类似,q-learning也是单步TD方法,但不同的是,它是离线学习的,通过选择当前状态下价值最大的动作来更新Q值。更新公式中使用了max操作。核心公式如下:

Q(S,A)\leftarrow Q(S,A)+\alpha[R+\gamma{\max_{a}Q(S^{\prime},a)}|-Q(S,A)]

算法流程如下图所示:

【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第24张图片 图 29 q-learning算法

2.4.2 Q值更新

依据上述公式,我们在Sarsa代理的基础上修改值更新部分。核心的“Q值更新”实现如下:

【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第25张图片 图 30 Q-learning值更新

2.4.3 效果分析

同理,我们测试了Q-learning代理对局结果如下:其胜率为0.6378,与Sarsa代理大致相当。

【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第26张图片 图31 对局结果

不同动作的价值函数可视化部分如下:大致分布也与Sarsa代理相同。可知在两者收敛的情况下,Q-learningSarsa代理实现的策略与效果都是相当的

【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第27张图片 图 32 Q-learning动作价值呈现

观察其收敛过程(1000次训练记录一帧,共100帧),QLearning的迭代过程变化幅度同Sarsa方法,比MC方法更加剧烈。

图33 q-learning迭代过程

三. 对比分析

3.1 胜率分析

通过wandb可视化三种代理的胜率情况,我们设置每隔1000次训练进行一次测试,,一共进行100轮。(总计10万次训练)每次测试通过1000次游戏来获取胜率。结果如下:

【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第28张图片 图 34 胜率对比1

由图可知,胜率较快进入收敛情况,我们采取Smooth可知MC与TD方法的趋势。其中MC方法越到后面(训练10万次后)仍有提升胜率的趋势,而Q-learning与Sarsa方法反而有胜率降低的趋势。(有可能陷入局部最优解。)

【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第29张图片 图 35 胜率对比(Smooth)

我们缩小训练步长,调整为每隔100次记录1点。得到曲线如下:可以看到,在小规模情况下的三种代理的胜率具有一定的提升,但是幅度较少。

【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第30张图片 图 36 1万次训练的胜率趋势

3.2 均方误差对比

我们将三种代理两两比较Q值的均方差,得到三条曲线如下:

【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用_第31张图片 图 37 均方差对比

红色为sarsa与qlearning的均方差对比,初始两者相似,随着训练两者均方差有略微提升,后期又会降低。而橙色和蓝色的曲线分别为sarsa、qlearning与mc方法的均方差,初始差异较大,但是后期随着训练增大,也渐渐收敛趋于一致。

3.3 总结

本次实验所应用的三种策略Q-learning、Sarsa和蒙特卡洛都是解决强化学习问题的算法,它们在学习过程中都通过与环境的交互来优化策略。且都用于值函数估计,这三种算法的目标都是学习状态或状态动作对的值函数,即Q值或V值。

区别:

  • 更新方式不同:

Q-learning: 使用了离线学习的方式,通过选择当前状态下值最大的动作来更新Q值。更新公式中使用了max操作

Sarsa: 使用在线学习的方式,通过选择当前状态下的某个动作来更新Q值。更新公式中使用了当前实际选择的动作

蒙特卡洛: 通过整个回合(episode)的经验来更新值函数,它直接使用了整个回合的累积奖励。

  • 探索策略不同:

Q-learning和Sarsa: 使用ε-greedy策略进行探索,以一定概率随机选择动作,以概率1-ε选择当前估计值最高的动作。

蒙特卡洛: 通过在整个回合内的探索来学习。

  • 适用场景不同:

Q-learning: 适用于离散状态和动作的问题,能够在未知模型的情况下学习最优策略。

Sarsa: 同样适用于离散状态和动作的问题,但由于使用在线学习,更适合实时决策。

蒙特卡洛: 适用于离散或连续状态和动作的问题,更擅长处理整个回合的经验。

四. 最终代码

https://github.com/YYForReal/ML-DL-RL-Learning/tree/main/RL-Learning/MC_TD_S21

你可能感兴趣的:(Python,机器学习,强化学习,蒙特卡洛,时序差分,Q,learning,Sarsa)