迷雾探险10 | 踩坑Gym

学了有一会儿RL，总觉得需要动手运行几个Demo才过瘾，Gym就提供了很好的平台，降低了实验RL的门槛。

OpenAI Gym是一款用于研发和比较强化学习算法的工具包。与其他的数值计算库兼容，如tensorflow 或者theano 库。现在主要支持的是python 语言。它可以支持训练智能体（agent）做任何事——从行走到玩Pong或围棋之类的游戏都在范围中。官方提供的gym文档。

1. 安装环境（MacOS下）

Gym目前只支持Linux和Mac，所以Windows的朋友们就先在虚拟机上玩一玩啦。

• Step1 先确保安装好homebrew和Xcode，Xcode最好升级到最新版并安装命令行工具。可以检查一下两个都安装了没
  （1）国内安装homebrew会很心累的，强烈推荐一篇安装教程把源都换成中科院的源（亲测可用）：https://blog.csdn.net/qq_35624642/article/details/79682979
  （2）xcode安装好了之后可以省掉很多编译器的安装。在Appstore下载安装好xcode后再安装一下xcode-select。xcode-select --install

brew --version
xcode-select --version

• Step2 安装Python3
  （1）安装homebrew是为了安装Python3。Mac默认的安装版本是2.7.X，但是未来的趋势将会是python3，python2只会维护到2020年。由于MacOS依赖2.7的python，所以不能改动默认的python版本。用brew就可以方便的兼容两者。python3自带pip3。注意检查python需要3.5以上版本。强烈注意：这一步做完之后请参考这篇博客，把python降级为python3.6，目前还不支持最新的python3，可能不久的将来会支持，反正遇到问题思考一下可能是python版本的问题

brew install python3
python3 --version
pip3 --version

• Step3 安装gym工具包，不带--user会有权限问题，建议带上，安装后根据提示把/Users/${youname}/Library/Python/3.7/bin 放到PATH目录下。后面需要下载全套代码再考虑(all)参数

pip3 install gym --user

环境就这么简单配好啦！

2. 安装Gym

官网入门指南就直接有配环境和下载代码的手把手步骤，非常清晰。代码直接从git库下载下来。

git clone https://github.com/openai/gym
cd gym
pip3 install -e .

可以稍后运行pip3 install -e '.[all]'来执行包含所有环境的完整安装。 这需要安装几个更复杂的依赖项，包括cmake和最近的pip版本。

记录遇到的问题
（1）运行pip install -e. [all]遇到matplotlib的1.3.1版本需要nose、tornado，另外numpy的版本1.8.0rc1不匹配。参考这篇博文使用了命令强行升级numpy，然后安装另外两个。

sudo pip install --ignore-installed numpy
sudo easy_install nose
sudo easy_install tornado

（2）还是失败，根据git库的README文档安装了一些依赖

brew install cmake boost boost-python sdl2 swig wget
brew install boost-python --with-python3

（3）最后才想起，我是用pip3安装的gym，赶紧把pip install改成pip3。终于显示安装gym成功.

pip install gym.png

（4）运行pip3 install -e '.[all]'的时候发现没有安装MuJoCo，参考这篇博客可以先把gym/setup.py的mujoco和robotics选项注释掉，后面需要的话用pip install -e '.[mujoco]'重新安装。

pip install gym omit mujoco.png

---

3. 编写和运行第一个demo

首先可以试一下最简单的一个CartPole-v0环境，下面的代码包含了1000次渲染环境的代码，使用的是最简单的随机步骤（当然这种算法一定无法收敛）。

#demo.py
import gym
env = gym.make('CartPole-v0')
env.reset()
for _ in range(1000):
    env.render()
    env.step(env.action_space.sample()) # take a random action

运行例子出现灰屏问题
运行pip3 install tensorflow发现自己python3.7版本太高，用这篇博客的方法降级到Python3.6。然后把重新安装了gym，没有安装tensorflow就解决了白屏问题，这坑爹的3.7...
运行python3 demo.py后就可以看到一个窗口弹出呈现经典的车竿问题。

第一个成功的gym例子