多智能体强化学习理论与算法总结

多智能体强化学习理论与算法总结

先搞明白on-policy和off-policy
【强化学习】一文读懂,on-policy和off-policy
我的理解:on-policy就是使用最新的策略来执行动作收集数据,off-policy的训练数据不是最新策略收集的。on-policy也是使用同个策略网络去采样动作并执行,更新Q值也需要用到该策略网络。

1.基础概念理解,多智体的状态,观测,奖励等需要重新定义:
强化学习——多智能体强化学习
强化学习笔记:Policy-based Approach

2.最新多智能体强化学习方法总结:
最新多智能体强化学习方法【总结】
这里不错Transformer讲解:
Transformer讲解

3.一些基础算法(PPO,DQN等)步骤
DQN——PPO流程总结
强化学习笔记:PPO 【近端策略优化(Proximal Policy Optimization)】
进阶篇—PPO代码逐行分析

4.TD,GAE优势函数等定义:
GAE 广义优势估计

5.一些经典的多智能算法的局限性总结:
【一】最新多智能体强化学习方法【总结】

6.需要掌握的协作类(合作)的多智体算法:
一、基于价值函数值分解的方法:
(1)COMA算法:
【COMA】一种将团队回报拆分为独立回报的多智能体算法
COMA算法解析: Counterfactual Multi-Agent Policy Gradients

(2)VDN/QMIX/QTRAN/Qatten算法的介绍和局限性:
多智能体深度强化学习值分解方法总结(1)—VDN/QMIX/QTRAN/Qatten

(3)QMIX算法:
多智能体强化学习入门Qmix
代码:https://blog.csdn.net/tianjuewudi/article/details/121005721

(4)QTRAN算法:
QTRAN 算法详解(VDN和QMIX的升级版本)

(5)Qatten算法:
Qatten

(6)MAVEN算法:

(7)Weighted QMIX算法:
从 QMIX 到 WQMIX —— Weighted QMIX 算法详解

(8)QPLEX算法:
多智能体强化学习2021论文(五)QPLEX

最后,有个大佬调研:
多智能体强化学习值函数分解论文调研
多智能体强化学习之值函数分解:VDN、QMIX、QTRAN系列优缺点分析

二、基于PPO的方法:
(1)MAPPO
多智能体强化学习之MAPPO理论解读

多智能体强化学习理论与算法总结_第1张图片
(2)HAPPO

(3) MAT

三、好代码:
https://github.com/marlbenchmark/on-policy
https://github.com/hijkzzz/pymarl2

四、一些论文总结
https://www.zhihu.com/people/sanmuyansan-mu-yang/columns

五、自动驾驶做多智能体强化学习的仿真软件
carla(不推荐,不够轻量)
metadrvie:https://github.com/metadriverse/metadrive
smart:https://github.com/huawei-noah/SMARTS

你可能感兴趣的:(强化学习)