Unity强化学习工具包MLAgents环境搭建

Unity Machine Learning Agents (ML-Agents) 是一款开源的 Unity 插件，使我们得以在游戏和其它模拟环境中训练智能的 agent。你可以使用 reinforcement learning（强化学习）、 imitation learning（模仿学习）、neuroevolution（神经进化）或其他机器学习方法 通过简单易用的 Python API 对 Agent 进行训练。

ML-Agents 对于游戏开发者和 AI 研究人员双方 都有利，因为它提供了一个集中的平台， 可以在 Unity 的丰富环境中评估 AI 的进步情况， 然后提供给更广泛的研究和游戏开发者社区。

更加详细的介绍在GitHub中。

ML-Agent环境搭建

ML-Agent目前不能直接在Unity中配置，需要在github上下载之后手动导入。

下载解压之后如图：

 是Unity端的安装包

com.unity.ml-agents:包含将集成到 Unity 项目中的 Unity C# 开发工具包。此软件包包含一个示例，以帮助您开始使用 ML-Agents。

com.unity.ml-agents.extensions:包含实验性的 C#/Unity 组件，这些组件尚未准备好成为基础包的一部分，直接依赖于com.unity.ml-agents。

是python端的安装包

ml-agents-envs是python和Unity进行通信的环境，包含用于与Unity场景交互的Python API。它是一个基础层，有助于在 Unity 场景和 Python 机器学习算法之间进行数据消息传递。

ml-agents是算法的实现，包含机器学习算法，使您能够在 Unity 场景中训练行为。ML 代理的大多数用户只需要直接安装 。

gym-unity是给openai的gym用的（这个暂且按下不表）），为Unity场景提供一个支持OpenAI Gym界面的Python包装器。

以下安装根据官网提供的入门指南目录进行的安装

1、Python端安装

我使用的是conda虚拟环境，步骤为：

1、创建unity环境并进入该虚拟环境（环境使用Python 3.6 到 Python 3.8）

2、在虚拟环境中安装Tensorflow

CPU版本安装：pip install tensorflow
GPU版本安装：pip install tensorflow-gpu   # 需要配置好cuda版本

如果安装失败,可以自己下载wheel文件，离线安装：tensorflow-gpu · PyPI

最新的ML-Agents可能需要安装Pytorch：PyTorch

3、定位到ml-agents-envs的目录下，执行pip install -e.

4、定位到ml-agents目录，同样执行pip install -e.

5、安装完之后输入mlagents-learn --help查看是否安装成功

2、Unity端安装

我使用的是Unity2021.3.11版本，步骤为：

1、新建一个项目，项目打开之后点windows菜单，找到Package Manager

2、点击左上角的小加号，选择从本地磁盘安装，如图

3、定位到com-ml-agents安装包的位置，打开里面的JSON文件（package.json）

4、在左下角的packages中能看到ML-Agents就安装成功了，可能会出现警告，但不影响

 官网安装教程如下如下：

到这环境就搭建好了，接下来可以制作强化学习训练环境啦