应用简介：用深度学习设计新的“宝可梦”角色？

版权声明：禁止转载。（更新时间：2021-05-17） |  个人笔记，仅供参考。所列出的论文大多尚处于研究阶段。

---

研究领域：计算机图形学，深度学习，图像生成（Image Generation）

 

1. 案例：如何设计出全新的“宝可梦”角色？

“宝可梦”（Pokémon）是拥有超过25年历史的著名IP（Intellectual Property），横跨ACG领域，即：动画（Animation）、漫画（Comics）、游戏（Games）。

宝可梦角色由GAME FREAK公司负责设计。该公司的美术总监，在采访中（GAME FREAK美术总监谈宝可梦设计）表示：现在设计新的宝可梦角色，就像在拥挤的停车场中找车位一样困难。随着角色总数的不断增加（目前已接近有1000种互不相同的宝可梦角色），设计出新角色的难度越来越大。（同时还需要考虑不与其他公司的动画/游戏角色重复。）

 

目前已有近1000种互不相同的宝可梦角色 [ref-1]

 

宝可梦角色设计（概念艺术设计） ©GAME FREAK [ref-2]

 

 2. 基于深度学习的宝可梦角色设计

 

问题：能否用深度神经网络，来自动设计出新的“宝可梦”角色？

           或者，作为设计师的辅助工具，为设计提供一些灵感？

 

---

1. 基于GAN：

译：我用 GAN生成了上千只新的宝可梦  （基于AEGAN）

（AEGAN论文：Autoencoding Generative Adversarial Networks，发表于2020年）

作者选出部分较好的生成结果

作者选出部分较好的生成结果

---

2. 基于GPT-2：

[游研社] 程序员用GPT-2生成了3000个新的宝可梦

[雷锋网] 我用GPT-2创造了3000个宠物小精灵，完美复刻《神奇宝贝》！

 

（GPT-2论文：Language Models are Unsupervised Multitask Learners，发表于2019年）

 

最终，作者挑选出部分较好的生成结果：

作者挑选出部分较好的生成结果

然后，作者请画家根据像素图绘制高清版本：

分析：

该方法使用的是自然语言处理（NLP）领域用于“文本生成”等任务的GPT-2模型。为了让NLP模型能完成“图像生成”任务，作者将“图像”转换为“字符串”，作为该模型的训练数据。其目的为：

（1）将二维图像转为一维向量。虽然丢失了形状的二维空间关系，但带来的好处为：生成结果更具有“想象力”。（注：由于每一行的字符数量相同，实际上模型还是能学习到一定的二维空间关系。）

（2）将各个像素的颜色量化为有限个字符，压缩了调色板。

（3）对图像进行降采样，降低了图像的分辨率。（其中，（2）（3），类似于笔者之前介绍的“像素化转换算法”。）

由于该任务属于“小样本学习”（Few-shot Learning），准确地说是在GPT-2-small（参数量124M）预训练模型上进行微调，训练图像只有788张，且每个类别只有一个或几个训练样本，所以必须进行一些转换，以提高生成结果的质量。减少颜色数量和降低分辨率，缩小了输入数据的分布范围，能够降低网络的学习难度。

 

---

引用资料：

[ref-1] 图片：https://i1.wp.com/www.vooks.net/img/2016/02/pokemonlogo.jpg

[ref-2] 图片：https://www.gamefreak.co.jp/assets/recruit/img/interview/fk/img-02.jpg