Nature Video：AI的《星际争霸II》宗师之路

本文由《Nature 自然科研》授权转载，欢迎访问关注。

---

期待已久的实验结果表明，质子尺寸比先前大家公认的值小约5％。这一发现¹促使人们重新定义质子的标准大小并且可能宣告着“质子半径之谜”的终结。自2010年以来，这一谜题就让物理学家们乐此不疲。

DeepMind的人工智能研究员已经拿下了游戏Pong、国际象棋和围棋，但还有一类游戏，层次完全不同。“

《星际争霸2》，是有史以来最复杂的电子游戏之一。它是一种实时战略类游戏：它不是回合制，并且手速要快。显然，使用我们热爱的人工智能技术（比如神经网络和深度强化学习等等）对我们来说是一个很有难度的挑战。”Oriol Vinyals，AlphaStar项目的首席研究员，解释了AlphaStar是怎么玩《星际争霸2》的：

AlphaStar是一个会玩《星际争霸2》的人工智能系统。这个游戏的第一个不同之处在于，你看不到对方盘面上发生了什么，这就是所谓的不完全信息——这是国际象棋和围棋里面都不存在的关键挑战；

另一个主要区别在于《星际争霸》里的棋子（术语叫“单位”），是在整个游戏过程中造出来的。所以开局的时候只有寥寥几个单位，你要决定投入哪些棋子创造接下来的单位。这很重要：因为你同时需要在信息不完整的情况下，反击你认为对方正考虑使用的棋子或单位。

AlphaStar的第一步是要预测人类玩家会点击哪里，最可能走哪一步，因此AlphaStar本质上是在从游戏中收集信息，比如所有单位的位置。

这些数据不会被输入某个程序，而是输入被称为神经网络的数学结构，这个神经网络负责处理所有这些信息。

我们的代码中不会直接写明该怎么处理，全靠它自学。首先是模仿学习：尝试模仿人类行动；之后是在AlphaStar联赛中进行自我对战；在处理完数据之后，它就学习了一个多层结构的行为算法，在多层结构的顶端能算出一个行动，然后发回给游戏。这个行动可能是造一个工人、派他去侦察、把镜头移动到这里——这就是AlphaStar的本质，平均每20毫秒，你看到的每个动作都是这个神经网络的计算结果。

2019年1月，AlphaStar在特定测试条件下战胜了两名职业玩家。但是人们想看看它是否能达到宗师级水平，这意味着在完整游戏中击败最强的玩家们。关键在于，人类在玩这个游戏的时候很有创造力，所以当我们派这些智能体上线时，它遇到了各种我们根本设计不出来的创新策略。

我们开始的第一场比赛，对手显然是个陌生人。整场比赛都很激动人心，也让人类玩家体会到与如此强大的AI对战是一种怎样的感受。

AlphaStar提升自我的方式包括与自己对战、与一群人类玩家对战，最关键的则是和其他人工智能体对战。我们有一个智能体联赛，把这些智能体放进去互相对战。不过比之前的做法大概要先进一些。这可能也是过去几个月研究进展最快的地方。

我们发现，只让一个智能体打赢自己和过去版本的自己是不够的，很重要的是，得有一些智能体去寻找主智能体的弱点，我们把这些智能体叫做“开发者”。

打个比方，就好像是让你朋友来击败你现在的战术，能打败你的战术可能在一般比赛里不会很强，但和它对战肯定能帮你成为一个更好的玩家。围绕这个核心想法以及项目在模仿学习和强化学习方面取得的进展，我们就造出了一个可以在《星际争霸2》中打出宗师水平的人工智能体。

事实上，我在90年代很认真地玩过《星际争霸》，当时还是一代游戏。有点可惜的是我等了很久才等到和AlphaStar对战。组里的人都跟我说，Oriol你该打一把。后来我决定和它玩一局，可那时候的智能体已经强到我根本打不赢了，所以我错过了能打败智能体的窗口期。

AlphaStar已经跻身《星际争霸2》欧洲前200名玩家之列，这里是指完整版的游戏，并且三个种族都有玩。

我们并不是想拿下《星际争霸》这个游戏，我们是想利用《星际争霸》来推进AI研究，并增强其他领域中所用到的人工智能，比如强化AI的鲁棒性、向专家模仿学习的能力，以及我们认为很重要的其他能力。

《星际争霸》是我们迄今尝试过的最复杂的电子游戏，想在现实世界中获得成功可能没这么简单。电子游戏能很快为AI提供数据点，让它熟练完成挑战，但不是所有问题都能提供如此准确的反馈。将AI融入日常生活会是一场更加持久的战斗。

---

版权声明：

本文由施普林格·自然上海办公室负责翻译。中文内容仅供参考，一切内容以英文原版为准。欢迎转发至朋友圈，如需转载，请邮件 [email protected]。未经授权的翻译是侵权行为，版权方将保留追究法律责任的权利。

2019Macmillan Publishers Limited, part of Springer Nature. All Rights Reserved

---

本文由《Nature 自然科研》授权转载，欢迎长按下方二维码访问关注。