【MADDPG(MPE)——环境配置与用法详细介绍(多智能体强化学习))】

MADDPG(MPE)——环境配置与用法详细介绍(多智能体强化学习)

  • MADDPG(MPE) 介绍
  • MPE环境安装教程
    • 前期准备
    • MPE 安装包介绍
    • MPE 安装环境要求
    • 开始安装
    • 环境测试
  • MPE环境介绍
    • 环境列表
    • 环境更换和修改

MADDPG(MPE) 介绍

MPE(Multi-Agent Particle Environment)是由 OpenAI 开源的一款多智能体强化学习实验平台,以 OpenAI 的 gym 为基础,使用 Python 编写而成。它创造了一个简单的多智能体粒子世界,粒子们可以进行连续的观察和离散的动作。

MPE环境安装教程

前期准备

  • 在GitHub网站下载MPE的安装包:https://github.com/openai/multiagent-particle-envs.git

  • 是安装在python环境下的。所以安装前要先装好python,不过我个人是安装anaconda,通过conda创建虚拟环境,好处是便于创建我们需要的不同版本的python环境,很方便,不用重复安装不同版本的python(强烈推荐)。

  • conda虚拟环境的配置,可以参考这篇教程(Windows 10 Anaconda 安装和使用 (最详细))

MPE 安装包介绍

GitHub源码分为环境和算法两个部分:

  • Multi-Agent Particle Environment
  • Multi-Agent Deep Deterministic Policy Gradient (MADDPG)

MPE 安装环境要求

下载 Multi-Agent Particle Environment 源码,阅读 README.md 可知需要先配置:

  • python(3.5.4),openAI gym(0.10.5),tensorflow(1.8.0),numpy(1.14.5)
  • 我用的是Pycharm+python3.6(用conda配置的虚拟环境python3.6)

开始安装

1.然后在 Pycharm 自带的 terminal 或进入 cmd,打开终端,将路径cd到multiagent-particle-envs文件夹下(即含有setup.py文件的文件夹下)

执行

pip install -e .

multiagent环境安装完成。

2.同样的,将路径再cd到maddpg文件夹下(即含有setup.py文件的文件夹下),执行

`pip install -e` .

maddpg安装完成。具体如下图所示:
在这里插入图片描述

3.将路径加入到path中:打开~/.bashrc,将multiagent-particle-envs下的bin的路径添加到path里面

环境测试

安装完成后,输入测试命令.

  • cd到/maddpg/experiments文件夹下:
cd experiments
  • 运行train.py文件,默认环境为simple先在该目录下进行切换:
python train.py --scenario simple

具体如下图所示:
在这里插入图片描述
如果出现如下画面表示环境安装成功:
【MADDPG(MPE)——环境配置与用法详细介绍(多智能体强化学习))】_第1张图片
注意:第一遍运行的时候,训练时只会出现训练数据,如下所示
在这里插入图片描述

第一遍运行没有动画,运行完毕,如果是simple的话,需要将第14行代码的False 改为Ture ,再重新运行一遍才会出现实时动画。

MPE环境介绍

环境列表

【MADDPG(MPE)——环境配置与用法详细介绍(多智能体强化学习))】_第2张图片

环境更换和修改

  • 更换环境可以直接再train文件中,修改环境名称
  • 修改环境可以参考这篇([MADDPG多智能体算法实现]),然后修改适合自己训练的环境。

你可能感兴趣的:(多智能体强化学习,maddpg,python)