spinningup环境搭建

（1）安装Anaconda
1)下载Python3版本Anaconda：
 https://www.anaconda.com/distribution/#linux
2）安装：
    bash ~/下载/Anaconda3-2018.12-Linux-x86_64.sh
    license terms一直enter即可，最后yes。是否安装Microsoft VS Code，选择yes。
3）测试安装环境
    关闭terminal，重开，输入 anaconda-navigator 。

（2）安装spinningup
1)创建虚拟环境
conda create -n spinningup python=3.6
2）激活环境
    source activate spinningup
3）安装openMPI
sudo apt-get update
sudo apt-get install libopenmpi-dev
4）安装spinningup
git clone https://github.com/openai/spinningup.git
cd spinningup
pip install -e .
5)测试安装环境
python -m spinup.run ppo --hid "[32,32]" --env LunarLander-v2 --exp_name installtest --gamma 0.999
训练结果视频：python -m spinup.run test_policy data/installtest/installtest_s0
训练结果图：python -m spinup.run plot data/installtest/installtest_s0

（3）安装mujoco
1)获取软件的license：https://www.roboti.us/license.html
我使用教育邮箱申请的一年，差不多隔了三天给我发的邮件，发的是 Account number  和一个协议文档。

之后需要到这个网站获取license.computer ID ,直接使用后面的链接下载一个可执行文件。下载下来的文件可能需要改一下权限，加上可执行权限才行。   register computer之后就可以很快拿到license了。

 2）下载MuJoCo version 1.50 binaries： https://www.roboti.us/download/mjpro150_linux.zip   
3）解压文件到~/.mujoco/mjpro150,并将获得的mjkey.txt放到~/.mujoco/mjkey.txt
    mkdir ~/.mujoco
    cp ~/下载/mjpro150_linux.zip ~/.mujoco
    cd ~/.mujoco
    unzip mjpro150_linux.zip
    cp ~/下载/mjkey.txt ~/.mujoco
4)添加环境变量
gedit ~/.bashrc
在末尾加入下面的指令
    export LD_LIBRARY_PATH=~/.mujoco/mjpro150/bin${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
    export MUJOCO_KEY_PATH=~/.mujoco${MUJOCO_KEY_PATH}
5）运行测试
    cd ~/.mujoco/mjpro150/bin
    ./simulate ../model/humanoid.xml
（出来个动图）

（4）安装mujoco-py
1）pip3 install -U 'mujoco-py<1.50.2,>=1.50.1'
如果报错，使用 pip install -U 'mujoco-py<1.50.2,>=1.50.1'
提示gcc错误什么的，安装依赖包：
    sudo apt-get install libgl1-mesa-dev libgl1-mesa-glx libosmesa6-dev python3-pip python3-numpy python3-scipy
2）测试环境
python3
import mujoco_py
import os
mj_path, _ = mujoco_py.utils.discover_mujoco()
xml_path = os.path.join(mj_path, 'model', 'humanoid.xml')
model = mujoco_py.load_model_from_path(xml_path)
sim = mujoco_py.MjSim(model)

print(sim.data.qpos)
# [0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]

sim.step()
print(sim.data.qpos)
# [-2.09531783e-19  2.72130735e-05  6.14480786e-22 -3.45474715e-06
#   7.42993721e-06 -1.40711141e-04 -3.04253586e-04 -2.07559344e-04
#   8.50646247e-05 -3.45474715e-06  7.42993721e-06 -1.40711141e-04
#  -3.04253586e-04 -2.07559344e-04 -8.50646247e-05  1.11317030e-04
#  -7.03465386e-05 -2.22862221e-05 -1.11317030e-04  7.03465386e-05
#  -2.22862221e-05]

（5）安装Gym
1）pip install gym[mujoco,robotics]
2）测试环境：python -m spinup.run ppo --hid "[32,32]" --env Walker2d-v2 --exp_name mujocotest

参考：
https://spinningup.openai.com/en/latest/user/installation.html
https://blog.csdn.net/will_ye/article/details/81087463
安装步骤主要参考官方文档，mujoco参考第二篇文档。