多智能体强化学习【Windows\Ubuntu 安装星际争霸Ⅱ】

本人呕心沥血一个星期，总结出来帮大家排雷，好在终于成功，可以开始研究代码了！！因为中间遇到的困难实在是太多了，后期想到会继续添加。

Windows安装

1. 下载安装星际争霸Ⅱ客户端

1. 下载客户端https://sc2.blizzard.cn/landing
   
2. 添加系统变量
   
   选择系统变量，新建
   
   变量值选择下载的星际争霸安装的目录
   
   配置完成。

2. 安装Anaconda

1. 使用清华镜像源下载Anaconda客户端https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/
   
   选择Just Me之后下一步就可以设置自动配置环境变量，无需自己手动配置。
   
   若选择All Users后续需要自己配置环境变量
   等待安装完成
2. win+r输入cmd进入命令行模式，conda -V查看conda版本
   
   至此说明anaconda安装完成，先安装anaconda的好处就是anaconda自身配置Python环境了，不需要我们单独安装Python。

3. 创建虚拟环境

• 首先明确自己创建虚拟环境所需要的Python版本，以防后续出现版本不对应的问题
  
  环境创建完成之后，激活虚拟环境
  

• 下载实验所需代码 https://github.com/oxwhirl/pymarl
  

• 在虚拟环境中下载安装实验所需依赖
  （1）切换到代码根目录下，安装requirements.txt
  
  注意：本人安装时出现pip install不能下载的问题，发现自己代理开了，关了即可正常下载。
  等待安装完成。
  （2）下载安装SMAC

• pip install git+https://github.com/oxwhirl/smac.git
  或者是

• git clone https://github.com/oxwhirl/smac.git
  pip install -e smac/
  但是由于网络原因，两种方法都失败了，通过以下方法安装：

• 首先进入GitHub下载smac

• 进入smac命令行

• 执行python setup.py install
  成功！
  **注意：**有的包例如torch等直接安装可能安装失败，需要寻找对应的包自行下载。进入pytorch官网（https://pytorch.org/get-started/previous-versions/），选择适合自己的安装包。例如torch0.4.1版本，需要下载cpu/torch-0.4.1-cp36-cp36m-win_amd64.whl文件，到对应文件下载的目录下安装：
  

4. 安装星际争霸地图

需要四部分地图

1. 星际争霸目录下有个Maps文件夹，将下载的地图全部存于Maps文件夹下。
   
2. 下载SMAC_Maps
   https://github.com/oxwhirl/smac/releases/download/v0.1-beta1/SMAC_Maps.zip
3. 特定任务地图Mini-game maps
   https://github.com/deepmind/pysc2/releases/download/v1.0/mini_games.zip
4. Melee地图和Ladder地图
   https://github.com/Blizzard/s2client-proto#downloads

解压密码是：iagreetotheeula
下载完成

5. 测试

1. 测试Map是否放置成功：
   
2. 测试smac和它的Map是否配置成功：
   
3. 启动强化学习代理
   python -m pysc2.bin.agent --map Simple64
   
   
   
   到此，Windows下的星际争霸的配置就基本完成了。

6. 训练算法

以训练qmix算法为例


控制台打印训练结果

注意：训练qmix算法时会出现问题，提示AttributeError: ‘NoneType’ object has no attribute ‘closed’

解决方法：在Windows下执行代码时，需要将main.py中第16行的代码SETTINGS[‘CAPTURE_MODE’] = "fd"改为SETTINGS[‘CAPTURE_MODE’] = “sys”
此时，代码即可正常训练。

Linux安装

Ubuntu系统与Windows系统最大的区别就是没有可视化界面，只能在控制台查看输出信息。由于步骤与Windows系统相差不大，此处不再赘述，附上本人参考的博客，希望对大家有所帮助。

1. https://zhiqianghe.blog.csdn.net/article/details/117247635
2. https://blog.csdn.net/Xixo0628/article/details/124156169