机器博弈 (二) 遗憾最小化算法

  现代的博弈论快速与人工智能进行结合，形成了以数据驱动的博弈论新的框架。博弈论与计算机科学的交叉领域非常多，有以下几个方面：

• 理论计算机科学：算法博弈论
• 人工智能：多智能体系统、AI游戏、人机交互、机器学习、广告推荐等。
• 互联网：互联网经济、共享经济。
• 分布式系统：区块链。

  人工智能与博弈论结合，形成了两个主要研究方向：1. 博弈策略的求解；2. 博弈规则的设计。

  博弈论提供了许多问题的数学模型。纳什定理确定了博弈过程问题存在解。人工智能的方法可以用来求解均衡局面或者最优策略。

  主要研究的问题就是：如何高效求解博弈参与者的策略以及博弈的均衡局势。

  其应用领域主要有：

• 大规模搜索空间的问题求解：围棋。
• 非完美信息博弈问题求解：德州扑克。
• 网络对战游戏智能：Dota、星球大战。
• 动态博弈的均衡解：厂家竞争、信息安全。

遗憾最小化算法(Regret Minimization)：

  我们对遗憾最优化算法(RM)中符号做若干定义：

• 假设一共有个玩家。玩家所采用的策略表示为。
• 对于每个信息集，是在动作集上的概率分布函数。玩家的策略空间用表示。
• 一个策略组包含所有玩家策略，用,,,。
• 表示中除了之外的策略(即除去玩家所采用的策略)。
• 在博弈对决中，不同玩家在不同时刻会采取相应策略以及行动。策略下对应的动作序列发生概率表示为。于是，，这里表示玩家使用策略促使行动序列发生的概率。除玩家以外，其他玩家通过各自策略促使行动序列发生的概率可表示为：。
• 对于每个玩家，表示玩家的收益函数，即在到达终止序列集合中某个终止序列时，玩家所得到的收益。
• 玩家在给定策略下所能得到的期望收益可如下计算：。

最佳反应策略与纳什均衡

  我们来看一下遗憾最小化算法下的最佳反应策略和纳什均衡。

• 玩家对于所有玩家的策略组的最佳反应策略满足如下条件：

  即玩家采用其它策略获得的收益小于采用最佳策略所能获得的收益。(这里其它玩家策略保持不变。)

  在策略组中，如果每个玩家的策略相对于其他玩家的策略而言都是最佳反应策略，那么策略组就是一个纳什均衡(Nash equilibrium)策略。

  纳什均衡：策略组,,,是纳什均衡当且仅当对每个玩家，满足如下条件：

-纳什均衡与平均遗憾值

• -纳什均衡：

  • 对于给定的正实数，策略组是-纳什均衡当且仅当对于每个玩家，满足如下条件：
    

• 平均遗憾值(average overall regret)：假设博弈能够重复地进行(如围棋等)，令第次博弈时的策略组为，若博弈已经进行了次，则这次博弈对于玩家的平均遗憾值定义为：

策略选择

• 遗憾最小化算法是一种根据过去博弈中的遗憾程度来决定将来动作选择的方法
• 在博弈中，玩家在第轮次(每一轮表示一次博弈完成)采取策略的遗憾值定义如下(累加遗憾)：

• 通常遗憾值为负数的策略被认定为不能提升下一时刻收益，所以这里考虑的遗憾值均为正数或0；

• 计算得到玩家在第轮次采取策略的遗憾值后，在第轮次玩家选择策略的概率如下(悔值越大、越选择，即亡羊补牢)：

Rock-Paper-Scissors，RPS 例子

• 假设两个玩家和进行石头-剪刀-布(Rock-Paper-Scissors，RPS)的游戏，获胜玩家收益为1分，失败玩家收益为-1分，平局则两个玩家收益均为零分。

• 第一局时，若玩家出石头()，玩家出布()，则此时玩家的收益，玩家的收益为。

• 对于玩家来说，在玩家出布()这个策略情况下，如果玩家选择出布()或者剪刀()，则玩家对应的收益值或者。

• 所以第一局之后，玩家没有出布的遗憾值为：

，

  没有出剪刀的遗憾值为：

。

• 所以在第二局中，玩家选择石头、剪刀和布这三个策略的概率分别为0、2/3、1/3。因此，玩家趋向于在第二局中选择出剪刀这个策略。

• 在第一轮中，玩家选择石头和玩家选择布、在第二局中玩家选择剪刀和玩家选择石头情况下，则玩家每一轮遗憾值及第二轮后的累加遗憾取值如下：

image

• 从上表可知，在第三局时，玩家选择石头、剪刀和布的概率分别为1/6、2/6、3/6
• 在实际使用中，可以通过多次模拟迭代累加遗憾值找到每个玩家在每一轮次的最优策略。
• 但是当博弈状态空间呈指数增长时，对一个规模巨大的博弈树无法采用最小遗憾算法。

我的微信公众号名称：深度学习与先进智能决策
微信公众号ID：MultiAgent1024
公众号介绍：主要研究分享深度学习、机器博弈、强化学习等相关内容！期待您的关注，欢迎一起学习交流进步！