ml-agent学习笔记(一)训练的基础操作和训练进程的图表化

记录一下自己学习ml-agents的记录,ml-agents是一个unity使用的以ppo算法训练游戏AI的插件，具体的插件本体去github上搜，使用的时候需要配置相应的环境，环境配置这里就先不写具体过程了，我贴一个知乎上的搭建环境的链接在这里 ，各位感兴趣的跟着看就行了https://zhuanlan.zhihu.com/p/82617680，我这里只写搭建好环境后如何训练自己的AI的笔记心得。

请搭建好自己的环境后再接着往下看！！！！仔细看完知乎链接的博客再往下看！！！！

在搭建好自己的unity工程后在开始菜单中打开Anaconda Prompt

然后在控制台中进入自己项目的Asset目录，如果例如你输入cd H:\UnityProject\AITEST\Assets后，盘符没有任何改变那么你在H:就行了（输入自己项目所在的盘符）

然后输入

mlagents-learn config / trainer_config.yaml --run-id =  --train  --time-scale = 100

接下来分别介绍命令行的特殊意义

--train标志告诉ML-Agents工具箱以训练模式运行。

--time-scale=100 设置Time.TimeScale在Unity中的时间缩放值，这句可加可不加不影响最终训练结果

--run-id =  中后面的就是给自己训练的AI取一个名字，取你喜欢的名字就行。

注意：重新运行此命令将再次从头开始训练。要恢复以前的训练运行，请附加--load标志并提供与--run-id您要恢复的运行相同的标志。

例子：mlagents-learn trainer_config.yaml --run-id=firstRun --train （我自己的命令）

输入命令后成功不报错，那么会出现这样的图

并且会在控制台中出现让你在untiy在点击开始按钮的输出

INFO:mlagents_envs:Listening on port 5004. Start training by pressing the Play button in the Unity Editor.

点击开始后就会开始训练，控制台不用管，它会实时输出训练情况的日志

在训练结束后如果你想要在浏览器中查看具体的训练的图表，一旦mlagents-learn按照上一节中所述的方式开始使用培训，该ml-agents目录将包含一个summaries 目录。为了更详细地观察训练过程，可以使用TensorBoard。从命令行运行：

tensorboard --logdir=summaries

然后会在控制台中给你一个端口为6006的url，你在浏览器中输入就可以看到了。

一旦训练过程完成，并且训练过程保存了模型（由Saved Model消息表示），您就可以将其添加到Unity项目中，并与兼容的Agent（生成模型的Agent）一起使用。 注意：Saved Model出现消息后，请勿仅关闭Unity窗口。等待培训过程关闭窗口，或者在命令行提示符下按Ctrl + C。如果您手动关闭窗口，则.nn包含训练模型的文件不会导出到ml-agents文件夹中。

 

以上就是目前利用官方例子训练的步骤，下一章进入训练自己AI的步骤！！