用 TensorFlow 训练 Doom 机器人
作者：Mark Litwintschik
本文地址：http://tech.marksblogg.com/tensorflow-vizdoom-bots.html
ViZDoom 是一个 AI 研究平台，允许你训练机器人来玩 Doom，这是 1993 年最初由 id Software 发布的经典第一人称视角射击游戏。ViZDoom 使用一款开源 Doom 引擎 ZDoom 与游戏进行交互。
ViZDoom 包含了一系列用 C ++，Java，Lua 和 Python 编写的示例机器人。在许多情况下，模型本身依赖于各种潜在的深度学习库，如 TensorFlow 和 Theano。
使用 ViZDoom，机器人将针对场景进行训练。ViZDoom 在发布源代码中包含几种场景。场景定义了 Doom 地图，机器人可用的控件（如左转，攻击等），玩家模式和技能水平。
在这篇博文中，我将通过设置 ViZDoom 和 TensorFlow，并训练机器人在 Doom 中扮演恶魔。
ViZDoom 启动运行
以下是在全新安装的 Ubuntu Desktop 14.04.4 上运行。通常我使用了分布式服务器，但是我想看到机器人在完成训练后玩游戏。
我将使用 Google 的深度学习框架 TensorFlow 进行机器人培训。为了方便起见，我将描述如何使用 CPU 运行所有内容，但是如果要使用 GPU 进行训练，那么请进一步了解参阅基于 GTX 1080 的 TensorFlow 博客，以 GPU 为中心的安装说明。在许多情况下，TensorFlow 将在 GPU 上比常规桌面 CPU 快一至二个数量级。
我正在使用的机器配置 Intel Core i5 4670K，频率为 3.4 GHz，32 GB DDR3 内存，SanDisk SDSSDHII960G 960 GB SSD 驱动器和 Nvidia GeForce GTX 1080 显卡。
首先，我将安装各种包依赖。
$ sudo apt-get update
$ sudo apt-get install \
build-essential \
cmake \
gfortran \
git \
libatlas-base-dev \
libblas-dev \
libboost-all-dev \
libbz2-dev \
libfluidsynth-dev \
libgme-dev \
libgtk2.0-dev \
libjpeg-dev \
liblapack-dev \
liblua5.1-dev \
libopenal-dev \
libsdl2-dev \
libwildmidi-dev \
nasm \
openjdk-7-jdk \
python-dev \
python-pip \
python-virtualenv \
tar \
timidity \
zlib1g-dev
然后我将设置 Java 的主文件夹。
$ export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
ViZDoom 是用 Python 编写的，所以我将创建一个虚拟环境并激活它。
$ virtualenv vz
$ source vz / bin / activate
然后我将安装五个基于 Python 的依赖。其中包括 TensorFlow 的分布式 CPU 驱动的 wheel。如果要使用 CUDA 支持的 GPU 加速版本，有一个单独的分布式。
$ pip install \
cython \
numpy
$ pip install \
scikit-image \
https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-1.0.0-cp27-none-linux_x86_64.whl \
tqdm
然后，我将克隆 ViZDoom git 存储库，构建 Python 模块并进行安装。
$ git clone https://github.com/mwydmuch/ViZDoom.git
$ cd ViZDoom
$ cmake -DCMAKE_BUILD_TYPE=Release \
-DBUILD_PYTHON=ON \
-DBUILD_JAVA=ON \
-DBUILD_LUA=ON
$ make
$ pip install.
基于 TensorFlow 的模型通常与 CPU 和 GPU 无关，但如果你使用 CPU 驱动的分布式 TensorFlow 进行训练，则可能会看到警告：所使用的 wheel 没有为你的 CPU 进行优化编译。如果你正在运行第四代或更高版本的 Intel Core i5 CPU，则将缺乏对 SSE3，SSE4.1，SSE4.2，AVX 和 FMA 指令的支持。
训练 Doom 机器人
有一个示例模型 「learning_tensorflow.py」 位于 examples/python 文件夹中，该文件夹将加载机器人在空房间的场景，一个敌人在另一端。机器人有能力左右移动攻击。机器人基于在比赛时间结束之前能够快速杀死对手的得分。
以下是此方案的配置文件：
$ cat scenarios/simpler_basic.cfg
doom_scenario_path = simpler_basic.wad
# Rewards
living_reward = -1
# Rendering options
screen_resolution = RES_640X480
screen_format = GRAY8
render_hud = true
render_crosshair = false
render_weapon = true
render_decals = false
render_particles = false
# make episodes start after 20 tics (after unholstering the gun)
episode_start_time = 14
# make episodes finish after 300 actions (tics)
episode_timeout = 300
# Available buttons
available_buttons =
{
MOVE_LEFT
MOVE_RIGHT
ATTACK
}
下面花了 14 分钟训练机器人。
$ cd examples/python
$ python learning_tensorflow.py
一旦训练完成，底层的开源 Doom 引擎 ZDoom 开始并且可以看到机器人在 10 局不同的游戏中对付敌人。
机器人每回合拥有 50 发弹药，并给予 300 个游戏动作来杀死单个恶魔。在这种情况下，恶魔并没有反抗，也没有太大的动作。不幸的是，即使有这么好的设置，在超过 20％ 的游戏中，机器人很少杀死恶魔。以下是10场比赛的得分。
Total score: -404.0
Total score: -404.0
Total score: -404.0
Total score: -404.0
Total score: -404.0
Total score: -404.0
Total score: 56.0
Total score: -404.0
Total score: -1.0
Total score: -404.0
保卫中心
ViZDoom 附带的其他场景是「保卫中心」场景，其中机器人在一个竞技场中是静止的，只允许左右转动并进行攻击。有一列的敌人会稳定地接近机器人，在敌人攻击之前有时间杀死他们。ViZDoom 的主要开发者之一，Michał Kempka 上传了这种情况下视频的到 YouTube。
在我的 GTX 1080 上使用 GPU 加速 TensorFlow 分布式来训练机器人之前，我修改了以下五行代码的示例 /python/ learning_tensorflow.py。训练了41分钟才能完成。
learning_rate = 0.002
epochs = 5
learning_steps_per_epoch = 4000
test_episodes_per_epoch = 1000
config_file_path = "../../scenarios/defend_the_center.cfg"
每杀死一个敌人，机器人获得一分，并且如果死亡，它会失去一分。每轮有 26 发弹药。在这过程中，我注意到机器人开始非常乱开枪，它的弹药库消耗有一点太快，遗漏一些恶魔。它值得在射击时瞄准目标。
十次运行后，机器人死亡前平均每场杀死 5.9 名恶魔，
Total score: 5.0
Total score: 3.0
Total score: 5.0
Total score: 5.0
Total score: 4.0
Total score: 5.0
Total score: 6.0
Total score: 5.0
Total score: 7.0
Total score: 4.0