Mujoco、Mujoco-py、gym/baseline的环境配置 （可用于UC Berkeley CS294-112 18FA 课程学习）
0. 本人环境
（以下均可根据右侧网址进行环境配置https://blog.csdn.net/linyijiong/article/details/84198384）
Ubuntu16.04 , Anaconda3 , python 3.６ , tensorflow-gpu 1.10.1 , CUDA 9.0 , cuDNN8.0.
以下安装配置均在虚拟环境中进行
1.安装mujoco
MuJoCo（Multi-Joint dynamics with Contact）是一个物理模拟器，可以用于机器人控制优化等研究。
1.1 准备工作
（参考网址： https://github.com/openai/mujoco-py#obtaining-the-binaries-and-license-key ）
1.1.1
下载 mjpro150 linux
1.1.2
点击Licence，进行许可证注册（mujoco不开源）
根据你的情况进行选择一年或者30天的许可时期。通过认证后，会将account number发至邮箱。
根据使用平台下载 getid_linux（可执行文件） 获取 computer id, 步骤如下：
chmod +x getid_linux
/getid_linux 输出结果类似于 LINUX_A1EHAO_Q8BPHTASDM1005D03TB3293
将上述两者输入网站，如下图。
点击Register computer 后，你的邮箱收到类似以下的邮件。
从输入的邮箱中下载证书mjkey.txt ，后面将会使用。
1.2 环境配置
1.2.1
创建隐藏文件夹并将 上一步下载的mjpro150_linux.zip 拷贝到 mujoco 文件夹中。解压后路径为：~/.mujoco/mjpro150
mkdir ~/.mujoco
cp mjpro150_linux.zip ~/.mujoco
cd ~/.mujoco
unzip mjpro150_linux.zip
1.2.2
将证书mjkey.txt拷贝到创建的隐藏文件夹中
cp mjkey.txt ~/.mujoco
cp mjkey.txt ~/.mujoco/mjpro150/bin
1.2.
添加环境变量~/.bashrc
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/bourne/.mujoco/mjpro150/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib/nvidia-3901.3.运行结果
cd ~/.mujoco/mjpro150/bin
./simulate ../model/humanoid.xml
2.安装mujoco_py
参考网址：https://github.com/openai/mujoco-py#obtaining-the-binaries-and-license-key
2.1 下载mujoco-py源码
git clone https://github.com/openai/mujoco-py.git注意：现在的mujoco-py的部分已经更新到v2.0了(没有关系的)，一般使用问题不大，想用最新的需要将前面的操作更换一下版本（下载200版本的mujoco，并将前面介绍的所有150修改为200）。
继续使用1.50版本问题不大，因为很多包都是基于150版本的，可以使用github更新2.0之前的最后一个版本，399a22b1384a078f8cd02d10486cff379cdf5985，使用前六位即可。
在下载完官方包之后，进入文件夹，使用git checkout 399a22，切换到以前的版本。
2. 2 安装mujoco_py
pip3 install -U 'mujoco-py<1.50.2,>=1.50.1'
2.3 遇到的问题
注意的是在这里安装的时候可能会缺很多包，但是提示什么装什么就行了。
2.3.1
缺少GL/glew.h头文件
网上查看后是缺少 libglew-dev，补上即可
sudo apt-get install libglew-dev（参考网址：https://stackoverflow.com/questions/15852417/compiling-opengl-program-gl-glew-h-missing）
2.3.2
提示需要将以下环境变量导入bashrc中，然后重新打开一个终端（虚拟环境）进行安装
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib/nvidia-390
如果不能识别上述路径，进入ld文件 （本人没有用到）
（参考：http://man.linuxde.net/ldconfig 、http://blog.51cto.com/lsscto/904078）
sudo gedit /etc/ld.so.conf把以下路径写到文件中的新一行
/usr/lib/nvidia-390重新加载文件
sudo ldconfig
2.4 检测是否安装成功
输入以下代码后，出现相应数据则说明mujoco-py安装成功。
$ pip3 install -U 'mujoco-py<1.50.2,>=1.50.1'
$ python3
import mujoco_py
import os
mj_path, _ = mujoco_py.utils.discover_mujoco()
xml_path = os.path.join(mj_path, 'model', 'humanoid.xml')
model = mujoco_py.load_model_from_path(xml_path)
sim = mujoco_py.MjSim(model)
print(sim.data.qpos)
# [0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]
sim.step()
print(sim.data.qpos)
# [-2.09531783e-19 2.72130735e-05 6.14480786e-22 -3.45474715e-06
# 7.42993721e-06 -1.40711141e-04 -3.04253586e-04 -2.07559344e-04
# 8.50646247e-05 -3.45474715e-06 7.42993721e-06 -1.40711141e-04
# -3.04253586e-04 -2.07559344e-04 -8.50646247e-05 1.11317030e-04
# -7.03465386e-05 -2.22862221e-05 -1.11317030e-04 7.03465386e-05
# -2.22862221e-05]
3. 安装gym
安装gym相对简单，在此不赘述，按照下面的网站指示即可（注意更新pip）
https://github.com/openai/gym
当遇到这个错误的时候，记得加上sudo
4. CS294-112课程hw1
配置好以上环境后，我们尝试以下用课程里面第一节课的demo跑一下。（保持在虚拟环境中运行）
4.1 下载hw
git clone https://github.com/berkeleydeeprlcourse/homework.git 4.2 运行demo
cd homework/hw1/
./demo.bash4.3 Error
（参考网站：https://blog.csdn.net/gsww404/article/details/80636676?utm_source=blogxgwz7 ）
此时依然碰到一个错误
Running trained model
Creating window glfw
ERROR: GLEW initalization error: Missing GL version
Press Enter to exit ...Killed查询之后，添加以下到bashrc文件中
export LD_PRELOAD=/usr/lib/x86_64-linux-gnu/libGLEW.so:/usr/lib/nvidia-390/libGL.so
4.4 成功
出现下面的肉色奇异种，说明一切配置成功！ 开始大干DRL！ X D
5.baselines
安装需要工具baselines ：https://github.com/openai/baselines
根据前面几节的情况，这里同样先进入建立的虚拟环境中。
（Note：需要运行本文安装的包时候，也需要先进入环境中）
注意：
d安装baseline的时候会发现需要安装tensorflow，根据提示用pip安装速度很慢，因此取消后直接利用conda install tensorflow-gpu来下载tf，结果问题出现了，由于前面安装的驱动为390版本，但是conda一上来就安装了cuda9.2版本（通过conda list查看包）
根据官方的对应表，这两者不兼容
因此可以输入以下回到cuda 9.0版本：
conda install cudatoolkit=8.0
参考：
跑pytest的时候缺少包 imagehash，可以按照下面安装
conda install -c conda-forge imagehash
https://anaconda.org/conda-forge/imagehash
6. 运行各种算法
在此本人运行了HER算法，详细的命令行以及各种参数可以参考 baselines的github
https://github.com/openai/baselines/tree/master/baselines/her
（运行的时候还是会遇到上面的问题：GLEW initalization error: Missing GL version，按照上面解决即可
https://github.com/openai/mujoco-py/issues/75
https://github.com/openai/mujoco-py/pull/145）
export LD_PRELOAD=/usr/lib/x86_64-linux-gnu/libGLEW.so:/usr/lib/nvidia-390/libGL.so
7. 本人在bashrc中配置的环境变量一览
7.1 关于Cuda，conda
#==================================================================
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-9.0/lib64
export PATH=$PATH:/usr/local/cuda-9.0/bin
export CUDA_HOME=$CUDA_HOME:/usr/local/cuda-9.0
# added by Anaconda3 5.3.0 installer
# >>> conda init >>>
# !! Contents within this block are managed by 'conda init' !!
__conda_setup="$(CONDA_REPORT_ERRORS=false '/home/bourne/anaconda3/bin/conda' shell.bash hook 2> /dev/null)"
if [ $? -eq 0 ]; then
\eval "$__conda_setup"
else
if [ -f "/home/bourne/anaconda3/etc/profile.d/conda.sh" ]; then
. "/home/bourne/anaconda3/etc/profile.d/conda.sh"
CONDA_CHANGEPS1=false conda activate base
else
\export PATH="/home/bourne/anaconda3/bin:$PATH"
fi
fi
unset __conda_setup
# <<< conda init <<<
7.2 关于Mojuco
#==================================================================
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/bourne/.mujoco/mjpro150/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib/nvidia-390
export LD_PRELOAD=/usr/lib/x86_64-linux-gnu/libGLEW.so:/usr/lib/nvidia-390/libGL.so
export MUJOCO_KEY_PATH=~/.mujoco${MUJOCO_KEY_PATH}注意，以上指令或操作步骤均受版本影响，请查看上述参考官方网址查看安装配置变动。
总参考网址：https://blog.csdn.net/Hansry/article/details/80998720
---------------------------分割线-----------------------------------------
由于在Pycharm配置不了tensorflow-gpu，为了消除前期配置工作的影响，本人删除了相应的虚拟环境（环境名为tfgpu）。
在重新配置一个虚拟环境的时候，执行到上述的mujoco-py的时候，发现无论怎么运行
pip3 install -U 'mujoco-py<1.50.2,>=1.50.1'进入虚拟环境fgpu，运行python，无法import mujoco_py。
然后在路径anaconda3/env/tfgpu/lib/python3.6/site-packages/中， 找不到刚刚安装好的mujoco_py包。很是奇怪。
于是尝试卸载mujoco_py，输入以下
pip3 uninstall mujoco-py发现mujocopy的包在以下路径中
/home/bourne/.local/lib/python3.5/site-packages/因此将路径中的包mujoco_py和mujoco_py-1.50.1.68.dist-info放进以下路径（你的虚拟环境路径）
anaconda3/env/tfgpu/lib/python3.6/site-packages/然后尝试再次import mujoco_py并执行一些简单指令，成功。