强化学习环境全库安装(从mujoco到spinningup)

前言

本教程从mujoco物理仿真引擎安装，到spiningup安装，都做了详细描述。注意，官方github下载的源码可能需要修改依赖，避免冲突或者覆盖。因此，为了避免意外，请安装本文安装顺序进行安装,本文优先把最可能出错的库，安装顺序放到前面。
本教程与前面我的博客mujoco-py，tensorflow-gpu，robosuite,gym多版本安装有很多重复的地方，本篇的最终目的是spinningup库的安装，因此gym，tensorflow等库最终以spinningup的依赖为准。

一： 安装Mujoco200物理引擎

稍后补充

二. 创建conda虚拟环境

1：选择python版本

不废话，spinningup支持的python>=3.6，因此选择python==3.6.

2.创建conda虚拟环境

conda create -n spinningup_env_012 python==3.6

三. 安装tensorflow-gpu==1.14.0

conda activate spinningup_env_012 
#注意，一定要用conda来安装，而不是pip，conda会帮你安装相关依赖。依赖冲突后面我们再解决
conda install tensorflow-gpu==1.14.0
# 若上行命名安装的太慢,ctrl+c停止，用国内源安装，下面是科大源
conda install -n spinningup_env --channel https://mirrors.ustc.edu.cn/anaconda/pkgs/main/ tensorflow-gpu==1.14.0

测试tensorflow是否安装成功。若下述命名执行没有报错，则说明tensorflow安装成功。后面其它步骤还有注意，虽然tensorflow能运行了，可能运行别的库，可能会报错numpy库冲突。

 source activate spinningup_env_012 
 python
 # 进入python程序
 import tensorflow as tf
 sess = tf.Session()
 #若上述命名执行没有报错，则说明tensorflow安装成功。

conda安装tensorflow-gpu会帮你安装cudatoolkit,cudnn等工具包，见图示：

四、安装mujoco_py 2.2.0.7版本

从github上下载mujoco_py 2.2.0.7版本源码，
在对应虚拟环境下面（激活虚拟环境），进入到mujoco-py-master（下载的mujoco-py源码）目录下，可以看见setup.py，requirement.txt,requirement.dev.txt文件。执行下面命令：

#在对应虚拟环境下面，进入到mujoco-py-master目录下。命名执行等待时间较长，耐心等待
pip install -r requirement.txt
pip install -r requirement.dev.txt
python setup.py install
#测试mujoco_py是否安装成功.出行画面说明成功。第一次运行等待时间较长，耐心等待
python example/body_interaction.py

五、安装robosuite

1、查看和删改robosuite对应的numpy等依赖库的版本（要删改啊，别跳过）

同mujoco_py查看依赖库的方法一样，我们发现setup.py并没有提到requirement.txt或者requirements-extra.txt中,那么这两个文件用python setup.py install是不会影响的。但是，我们发现setup.py提到了mujoco_py，那样会影响我们之前的安装，我们选择把这一行删掉，如下图阴影部分删除。

2、安装robosuite

在对应虚拟环境下面，进入到robosuite-master（下载的mujoco-py源码）目录下，可以看见setup.py文件。执行下面命令：

#在对应虚拟环境下面，进入到解压下载的robosuite-master目录下。命名执行等待时间较长，耐心等待
python setup.py install
#测试robosuite是否安装成功.出行画面说明成功。第一次运行等待时间较长，耐心等待
python robosuite/demo.py

我们没有安装requirement.txt或者requirements-extra.txt的依赖包，不影响。

六、安装gym

1、直接pip安装gym

#在对应虚拟环境下面，下面命令执行完，居然没有任何信息，没报错就是好的吧
pip install gym>=0.10.8
#测试gym是否安装成功
# 进入python程序
python
import gym
print(gym.__version__)
#若上行没有错误，说明gym安装成功

pip纯净安装不负责依赖包安装，若以后执行gym的复杂操作，若涉及其他库，等报错缺少哪个包，就再pip安装那个包即可。注意，不要用pip install gym[–all]等命令，可能会安装依赖的mujoco_py版本，使得原先mujoco_py被丢失。

七、openai/spiningup的两个依赖预装和openmpi安装

1、mpi4py:
	在conda虚拟环境下
	conda install mpi4py
2、joblib:
	在conda虚拟环境下
	pip install joblib
3、sudo apt-get update && sudo apt-get install libopenmpi-dev

八、安装spiningup

1、进入到spiningup-master目录下，可以看见setup.py文件，执行命令

#在对应虚拟环境下面，即激活虚拟环境后
python setup.py install
# 进入python程序
python
import spinup
#若上行没有错误，说明spinup安装成功