【多智能体强化学习】

参考链接
多智能体深度强化学习综述与批判.2019
万字长文：详解多智能体强化学习的基础和应用

与单智能体强化学习的区别

多智能体强化学习的难点：

• 环境的不稳定性：决策相互影响
• 信息局限性：单个智能体难以获得全局信息
• 目标一致性：各智能体的目标可能是获得总体最优也可能是个体最优，如何定义奖励函数是个问题
• 可扩展性：大规模多智能体系统对算力产生要求
  
  增加了新的学习目标（模型与模型之间的交互）

将其他智能体考虑为环境的一部分是否可行?
不可行，模型的不是稳态的，模型之间是策略是相互影响的。

【回顾】Q-Learning：价值学习算法，$Q(s,a)$是在某一时刻的 s 状态下(s∈S)，采取 动作a (a∈A)动作能够获得收益的期望，主要思想是将State与Action构建成一张Q-table来存储Q值，然后根据Q值来选取能够获得最大的收益的动作。

问题定义

在博弈论视角下，序贯决策的三种问题：

• 马尔可夫决策过程：单智能体 多状态
• 重复博弈：多智能体 单一状态
• 随即博弈（马尔可夫博弈）：多智能体 多状态

多智能体强化学习属于随机博弈

随机博弈

通过数学工具进行描述

基本方法

按照智能体之间关系分类

完全竞争关系

minimax Q-Learning 零和随机博弈

按照是否中心化分类

完全中心化方法

1. 整体智能体

用于合作任务

计算量指数级增长，计算难度太大

2. 纳什Q-Learning

完全去中心化方法

鸵鸟算法


注：PPO：大概类似actor-critic方法

中心化训练 去中心化执行

类似于：训练的时候场上有教练指导大家，告诉大家什么动作是对的什么是不对的，真正比赛的时候，教练离场

数学模型