深度强化学习——安装Windows10系统深度强化学习环境：Anaconda+PyTorch+Pycharm+Gym

1 介绍

本文适合想学习深度强化学习，准备利用Pytorch来解决问题，并且手里有一台安装Windows系统的电脑的初学者。

2 各软件/模块简介

2.1 Anaconda

如果从事python开发，那么必须要安装配置换环境需要安装两个包：Anaconda和Pycharm。那么Anaconda是什么呢？
Anaconda 是一个提供python开发所需的工具包，包括python/IPython/CPython/Conda等180个依赖项，同时支持 Linux，Mac，Windows三大平台。(Ps：装了Anaconda就相当于装了Python和其它众多工具包)

2.2 Pycharm

Pycharm 是开发工具，专业术语称作 IDE。可以编写python程序的IDE有很多，据统计唯独Pycharm用户最多，带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具，比如调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制。

2.3 Anaconda, Pycharm和Python的关系

很多小伙伴可能一开始接触深度强化学习时，不明白Anaconda, Pycharm和Python的关系。没关系，这里推荐猿说Python，这个网站详细地解释了三者的关系，网址如下：http://www.shuopython.com/archives/585。（Ps：里面还有很多其它关于Python的文章，大家可以自己去发掘）。此外，推荐另一位大神的开发网站，里面有全套的机器学习视频。莫烦Python的网址：https://morvanzhou.github.io/。B站上也有莫烦大神的视频，大家可以自己去找。

2.4 PyTorch（tensorflow及其它）

PyTorch是一个优秀的开源机器学习和深度学习算法框架,同时也是一个基于Torch框架的Python语言机器学习开源库。现今主流的深度学习框架包括Tensorflow、PyTorch、Theano、Chainer、Keras、Caffe等等。人气最旺的是PyTorch和Tensorflow。Tensorflow背后是强大的谷歌技术社区，这样的开源生态会提供比较好的发展环境，在Github上很容易找到相关的代码。但是相比之下，PyTorch代码简洁直观，且没有太多的复杂的由第三方封装的接口。至于选择用谁学习，全靠各人喜欢。本文集中于PyTorch。

2.5 Gym

OpenAI Gym是一款用于研发和比较强化学习算法的工具包，它支持训练智能体（agent）做任何事。它包含两部分：

1. 一个测试问题集，其中每个问题成为环境（environment）（例如Atari、CartPole等），可以用于个人的强化学习算法开发，这些环境有共享的接口，允许用户设计通用的算法。
2. 提供一个站点和api ，允许用户对自己训练的算法进行性能比较。

3 安装

3.1 安装Anaconda和PyTorch

作者是通过观看B站up主一只小土堆的一个视频，解决了这个问题，推荐大家：https://www.bilibili.com/video/BV1hE411t7RN?p=1。只要一步步来，就没有问题。

3.2 安装Pycharm

同样，作者是通过观看B站up主一只小土堆的一个视频，解决了这个问题，推荐大家：https://www.bilibili.com/video/BV1hE411t7RN?p=2。该视频不仅介绍了如何安装Pycharm，还介绍了另一个很流行实用的Python编辑器——Jupyter，大家感兴趣可以自己安装这个编辑器（可以和Pycharm同时安装）。

3.3 安装Gym

根据两个视频安装完Anaconda、PyTorch和Pycharm后，接下来就到了安装Gym的时候。首先打开“开始”菜单，找到Anaconda Prompt，打开。然后输入：

conda activate pytorch

回车，继续输入：

pip install gym -i https://pypi.tuna.tsinghua.edu.cn/simple

等待，直至结束。
接下来测试一下Gym是否安装成功：
打开Pycharm，新建项目（若是不会新建项目，可回看3.2的视频），新建Python文件（若是不会新建Python文件，推荐观看up主一只小土堆的视频：https://www.bilibili.com/video/BV1hE411t7RN?p=5）。然后输入：

import gym
import time
env = gym.make('CartPole-v0')
env.reset()
env.render()
time.sleep(5)
env.close()

可以看到：

也可以输入：

import gym
env = gym.make('MountainCar-v0')
for i_episode in range(20):
    observation = env.reset()
    for t in range(100):
        env.render()
        print(observation)
        action = env.action_space.sample()
        observation, reward, done, info = env.step(action)
    if done:
        print("Episode finished after {} timesteps".format(t+1))
        break
env.close()

看到小车在跑就成功了。