网易游戏人工智能实验室分享：游戏中应用的AI技术

在2019网易游戏开发者峰会上，网易游戏人工智能实验室技术总监Weldon Zhang，分享了人工智能实验室在游戏AI上的探索和成果，对游戏中应用的AI技术进行了盘点。

总体来看，AI技术可以在游戏中运用的五个方向分别是：图像API，模型动画，语音文本，游戏机器人以及营销运营。
 

以下是分享实录：

众所周知，中国是世界上最大的游戏市场，一是得益于庞大的玩家人数，二是离不开各公司在技术上的突破。

作为其中一份子，网易也非常注重技术积累。同时在看似繁荣的游戏市场下，我们也面临了很多挑战，经过多年培养，玩家对游戏的品质要求越来越高，游戏的开发成本逐年增加。同时由于玩家结构调整和市场变化，都给我们的市场增长带来阻碍。这些问题要求我们要在技术上不断的创新。AI实验室就希望通过人工智能技术，服务于各游戏研发部门，寄希望打造精品化的游戏。

首先，简单回顾一下游戏AI的背景。游戏AI是伴随电子游戏而出现的，在早期的《吃豆人》等游戏中就出现了对抗类AI角色，后来逐渐出现了更复杂的NPC AI。自从DeepMind发表在《自然》杂志上的DQN文章后，游戏AI开始引起重视，在短短三四年的时间，DQN发展出了很多变种，解决了很多以往无法解决的功能问题。
 

对于游戏行业之外的人，真正了解到游戏AI可能是从AlphaGo开始的，这让大家感觉到游戏AI的春天即将到来。在去年OpenAI Five在《Dota 2》里已经可以打败一般水平的玩家。

除通常理解的游戏AI之外，语音、视觉、机器学习等所有AI技术都可以运用到游戏中。

这次主要是想探讨一下哪些技术可以在游戏中得到应用，所以出发点是从技术方面来考虑的，并不是从产品的方面去考虑。接下来分为五个方向进行分享：图像API，模型动画，语音文本，游戏机器人以及营销运营。

一、图像API
 

这是传统AI行业经常做的事情，在游戏里也经常用到。因为在很多游戏推广运营甚至游戏的交互中，经常需要玩家上传图像，这里面就存在很多应用。举几个例子：

第一，人脸解锁，也可以应用到手游非登陆密码解锁；

第二，人脸美化，使玩家交互过程更加和谐；

第三，人脸变换，制作年龄变化、脸型变化等趣味玩法和营销赋能，不仅是静态的变脸，还可以实现动态替换。

第四，图像检测，进行黄图检测、垃圾广告检测、政治人物检测和暴恐方面的检测，过滤掉不合适的内容。

还有一类图像API是游戏美术图像的生成和变换，美术资源的制作是整个游戏制作成本中最大的一块，所以我们就思考，有没有什么AI技术可以自动生成这些美术资源，当然不仅限于图像。后来发现利用图像技术进行场景风格化，角色风格化，自动上色，个性字体等方面的应用都可以帮助美术节省成本。

画面风格迁移可以把不同画家的风格转化到同一张图片上，得到不同画家风格的图片。我们在游戏中也做过很多尝试，例如通过一张真实的照片，直接转换为各种风格的素材。
 

二、模型动画

1.角色，场景，道具生成

模型生成主要是围绕人物角色、动物角色、物体的3D扫描重建以及最近很流行的智能捏脸等方面。
 

捏脸已经成为很多游戏的标配，其中有很多可以探索的地方。卖手机号玩家想达到自己想要的脸型会花费很多时间，那么如果上传玩家自己的照片就可以进行自动匹配脸型。

另外还可以利用玩家上传的照片和游戏的模型进行融合，进行智能捏脸，让玩家有较好的游戏代入感，以及对人头模型进行宠物化实现趣味玩法等。

2.动画生成

有了人头和人体模型之后，就要进行动画生成。动画方面我们也进行了很多研发，例如口型动画，表情动画；同时还做了很多表情捕捉、动作捕捉、动画控制器等方面的探索。

语音驱动口型动画基本原理是:对输入的语音做特征提取，通过深度网络模型找到对应的口型，从而生成动画。目前口型的模型也已经做到可以自动生成了，可以自动识别语音的情感变换面部表情。同时在虚拟直播时，面向一些有特色的直播，可以做一些表情实时迁移。

三、语音文本应用

语音和文本方面也存在很多应用，例如语音识别、语音合成、声纹识别、文本生成、文本分类、文本交互等。

语音识别主要是用于识别玩家上传的语音，过滤掉不合适的内容，也可以用语音识别技术对游戏进行控制；

语音合成主要运用于NPC配音，基于端对端神经网络语音合成，生成多语言带感情的语音，还可以做一些声纹识别，例如闻声识人，从而进行玩家身份验证，无须输入身份信息。

文本生成的方法可以生成古诗、对联、战报、文案等，实现趣味玩法或者加速文案制作；

文本分类中，通过对聊天频道的内容监控，我们可以做广告过滤、社交推荐等；

文本交互可以做互动交互、智能客服、新人引导、NPC聊天以及伴随养成和辅导这些相关内容，给玩家提供更好的体验。

四、游戏AI机器人
 

类似于DeepMind和OpenAI，我们也在游戏机器人方面做了大量的工作。结合监督学习、强化学习以及规则库，我们在游戏角色的微操、决策等方面做了很多尝试，可以应用于卡牌、对抗类游戏。

五、智能营销运营

在智能营销方面，我们可以利用图像识别技术进行外挂检测。还可以给玩家进行推荐，譬如道具推荐，搭配推荐，战场匹配等。最后还可以进行图像，文本，动画等玩家分享。

 

游戏外挂破坏了游戏的平衡，所以游戏需要对这些外挂进行检测。我们训练了一个基于深度学习的轻量级外挂作弊检测模型，放到PC端或移动端做定时的检测，可以把外挂识别出来。模型的准确率非常高，且占用资源量非常少，检测速度很快，能够深度打击这些外挂。
 

毫无疑问，人工智能给游戏开发带来更多便利和更加多样性的玩法，同时，一款游戏中人工智能运用的好坏也会直接影响到游戏的可玩性。如何在现有技术水平的基础上加入更多、更新颖的人工智能技术，也是未来游戏开发中值得讨论的课题。未来在游戏以及更多领域中，人工智能会有更多、更强大的应用。