进击的深度强化学习——写在 Dota2 5v5 被AI攻克之前

Neil Zhu，ID Not_GOD，University AI 创始人 & Chief Scientist，致力于推进世界人工智能化进程。制定并实施 UAI 中长期增长战略和目标，带领团队快速成长为人工智能领域最专业的力量。
作为行业领导者，他和UAI一起在2014年创建了TASA（中国最早的人工智能社团）, DL Center（深度学习知识中心全球价值网络），AI growth（行业智库培训）等，为中国的人工智能人才建设输送了大量的血液和养分。此外，他还参与或者举办过各类国际性的人工智能峰会和活动，产生了巨大的影响力，书写了60万字的人工智能精品技术内容，生产翻译了全球第一本深度学习入门书《神经网络与深度学习》，生产的内容被大量的专业垂直公众号和媒体转载与连载。曾经受邀为国内顶尖大学制定人工智能学习规划和教授人工智能前沿课程，均受学生和老师好评。

我们本着一种开放的心态来看看这次 OpenAI 的成功一 show，摇身变成世界 Dota2 单挑王。

Dota 曾给我们带来了很多欢乐，而后推出的 Dota2 虽说玩家数量比不上 LOL，但其在国际上受欢迎程度非同小可。因此 OpenAI 拿这个也没啥问题。

Elon Musk vs Mark Zuckerberg

就在前不久 Elon Musk 怼了 Mark Zuckerberg，说后者不知道现在 AI 达到什么 level 了，应该就是在说这件事。（说到这里为 Facebook 的小伙伴们捏了一把汗，老板被怼了，由于自己的研究没有到达最牛层次，锅就得背了。）

OpenAI Bot 背后使用的就是深度强化学习技术，这项技术被看作是实现通用人工智能^[1]的一条光明大道。

深度强化学习技术是深度学习和强化学习技术结合的产物。最早就是用在控制游戏上，那还是四年前，DeepMind 的团队设计了一个模型可以在几个游戏上超过人类玩家。（这也导致了 Google 对 DeepMind 的惊天收购，4亿英镑）后面的故事大家也都知道了。发 Nature，做 AlphaGo，击败欧洲围棋冠军樊麾，前世界冠军李世石，再到现在的世界冠军柯洁。这里的故事情节跌宕起伏，我们后面系列中会细细介绍。

DQN出现如同机关的开关被触发，众多相关的算法层出不穷。最终我们将这些新出来的方法称为深度强化学习技术，该技术实现了感知和决策的打通。好像我们人类被打通任督二脉一样，武功会上升几个层次。因此现在这个方面的研究已经成为大家关注的方向。在很多的重要人工智能学术会议（比如 ICML、NIPS、IJCAI 等）上，这个方向的 keynote、workshop 和 tutorial 均不断地出现，吸引了众多科学家和工程师关注。

说了这么多基础的理论历史，我们回到这次比赛上。相比较于围棋，Dota2 本身会有更多的不稳定因素掺杂，比如说里面的兵团和建筑，难度在于更多不确定未知的因素空间叠加。

我们在观看游戏的时候，DendiBoss 刚开始时好像并没有将 Bot 放在心上，还和主持人热情交互，也许这里对其发挥有所影响了吧。（人类有时候表面放松，但内在紧张）但很快第一局经过几次较量后，Bot 逐渐地稳定下来。

有人说 LOL 可不可以。当然可以。由于 Dota2 和 LOL 是类似的，LOL 的 1v1 的 AI Bot 如果用深度强化学习技术的话，虐一虐人类 top1 也就没啥问题了，因为他们本质上是一样的事情。

接下来在类似 Dota2 这类游戏上的挑战就是多人配合的 5v5，这肯定是需要完成一系列的突破然后整合成一个整体后战胜人类的。

最新消息，已有不少玩家找到了 Bot 的 bug，好像使用一些 trick 战胜了 Bot。但我觉得这些“雕虫小技”应该不是我们关注的焦点，不该拿这些沾沾自喜觉得人类还是厉害云云。技术之势无法阻挡人类设计 AI 征服这类游戏的脚步。从这点上看，Elon Musk 的担心不无道理，尽管目前看我们还没有完全解决多人游戏的难题，但已经在路上数十年之久了。

为何这么说，且听下回分解。

人和机器的感情又加深了一点点，因为大家都会玩 Dota 2 了哈。以后可以带几个 AI 帮你推塔了~

---

1. artificial general intelligence，又称 strong AI，表示能够完成一般任务达到或者超过人类平均水平的 AI ↩