Windows 10安装OpenAI的Gym

什么是 Gym 和 Universe？

参考 Windows,Linux,macOS三平台安装OpenAI的Gym和Universe

OpenAI Gym 是一个用于开发和比较 RL（Reinforcement Learning（强化学习））算法的工具包，它包括一系列不断增长、完善的环境，还提供可以用于比较和评估算法的平台。

Gym 与其他的数值计算库兼容，如 TensorFlow 或者 Theano。主要支持的是 Python 语言。

Gym 的官网是 https://github.com/openai/gym
Gym 的各种环境在这里 https://gym.openai.com/envs

Gym 比较好的一点是你可以上传你自己训练环境的算法上去，也可以看到别人上传的算法，并且可以下载别人的算法代码。例如 https://gym.openai.com/envs/CartPole-v0 就是 CartPole 这个目的是把杆子立起来的环境，里面你可以找到别人上传的算法：

Universe 基于 Gym，是一个在全世界的游戏、网页和其他应用中，评估、训练智能代理的软件平台。Universe 的官网是
https://github.com/openai/universe。

代理（agent）使用和人类类似的感官输入和控制方式，不过它看到的是像素，控制的是鼠标和键盘。

这使得任何需要电脑来完成的任务，都可以训练 AI 去做，并且与人类玩家较量。

Universe 包含 1000 多种不同训练环境，包括 Flash 游戏、网页任务、侠盗猎车手 这样的游戏。Universe 是英语「宇宙」的意思，可以看出这个项目的愿景很大，旨在开发出接近通用智能（General Artificial Intelligence）的算法。

Gym

1. 安装Anaconda

对于 Universe 的安装和配置，官方推荐用 Anaconda。对于 Gym 的安装，我们也可以使用 Anaconda。我们也来介绍一下。

Anaconda 是非常著名的开源的 Python 发行版本，其包含了conda、Python 等 180 多个科学包及其依赖项，可以大大方便配置开发环境。

Anaconda 可以用于创建独立的 Python 开发运行环境。每个环境中的 Python Runtime（运行时）都是独立的，互不影响。这样就不用担心安装 A 的时候把
B 的环境给破坏了。

Anaconda 的官网是 https://www.anaconda.com

Anaconda 附带默认安装的软件有著名的 Jupyter Notebook （官网 http://jupyter.org ）这个 Python 的交互式笔记本，支持运行40 多种编程语言。Jupyter Notebook 的本质是一个Web 应用程序，便于创建和共享文学化程序文档，支持实时代码，数学方程，可视化和 Markdown，还可以插入图片，视频，音频，等等。

2. 更新pip

参考https://pip.pypa.io/en/latest/installing/

D:\ProgramData\Anaconda3>python -m pip install -U pip

3. 安装Gym

参考https://gym.openai.com/docs/
Installation
To get started, you’ll need to have Python 3.5+ installed. Simply install gym using pip:
pip install gym

D:\ProgramData\Anaconda3\Scripts>pip install gym

在安装过程中可能出现错误：distributed 1.21.8 requires msgpack, which is not installed.

D:\ProgramData\Anaconda3\Scripts>pip install msgpack
D:\ProgramData\Anaconda3\Scripts>pip install msgpack-python

4. 运行测试环境

参考https://gym.openai.com/docs/

import gym
env = gym.make('CartPole-v0')
env.reset()
for _ in range(1000):
    env.render()
    env.step(env.action_space.sample()) # take a random action

什么是 Docker

对于 Universe 的安装和配置，也会用到 Docker。对于 Gym 的安装，不需要用到 Docker。因为 Universe 的环境基本都是运行在一个 Docker 的容器里的。

Docker 的官网是 https://www.docker.com