Github开源趋势榜Top 1：英伟达升级发布二代StyleGAN，效果更完美

整理 | Jane

出品 | AI科技大本营（ID：rgznai100）

 

2018 年底，英伟达借鉴风格迁移的思路，提出当时最先进的无条件生成模型—— StyleGAN ，吸引了大家广泛关注。随后，代码开源，一位 Uber 工程师更是利用此模型设计了网站“ThisPersonDoesNotExist.com”，轰动一时。自此，对虚假信息生成技术的研究与讨论延续至今。

 

近日，英伟达再次公开最新论文《Analyzing and Improving the Image Quality of StyleGAN》，通过对 StyleGAN 的生成效果分析，对不完美的工作设计了改进和优化方法，提出新一代 StyleGAN，效果更上一层楼，生成图像的质量堪称完美。

 

一、虚假信息生成，轰动一时

 

2019 年 2 月，AI科技大本营（ID：rgznai100）曾在报道中特别为大家介绍 Uber 软件工程师 Philip Wang 使用英伟达发表的 StyleGAN 创建了无穷尽的假肖像图集，并通过“ThisPersonDoesNotExist”网站用最简单直观的形式展示给更多的人，其背后的算法基于大规模的真实数据集训练而成，然后使用生成对抗网络（GAN）来制造出新的图像。每次刷新网站，只需大约 2 秒，网络就可从 512 维向量中从头开始生成新的人脸图像。

 

不止这些从不存在的人脸图片，动漫人物、猫狗、汽车、卧室......这些类别的图片都可以生成，主要看你给模型喂了什么。

 

自从有了这项神奇的技术，左拥老婆、右抱宠物，车房都有。

               

 

不过，从之前的生成结果来看，StyleGAN 虽神奇但并非完美，生成的图像经常产生瑕疵与缺陷。在最新模型 StyleGAN 2 中，团队针对缺陷问题进行了深入研究，通过改进模型架构和实例规范化方法等，在提升了图片质量、优化细节的同时，还可以对图像是否有模型生成进行检测，加速训练。

 

这次 StyleGAN2 的提出，不仅提升了生成效果，在一定程度上又再一次为大家提供了无条件图像生成技术的新标准。

 

我们先看一波完整的介绍视频：

二、新一代完美升级

 

1、模型架构的改进：解决奇怪的不明物体生成问题

                           

首先，上图是这项工作中解决的第一个问题——去除奇怪不明的斑点。这个问题，我们在一代生成结果中经常会见到。为了解决这个问题，研究人员把生成器的架构进行了重新设计，由此前的下自适应实例归一化 → 生成器的实例归一化。

 

上一代 StyleGAN 的模型架构设计和细节和新一代 StyleGAN 的模型架构设计和细节如如图（a）、（b）和图（c）、（d）所示：

              

新方法无论是在生成的图像还是特征图上都解决了这个问题。

      

 

2、训练方法的改进生成细节

 

再看生成图片的细节，研究人员指出，此前的图像中会有脸部特征不协调的现象，组合起来不匹配，有些细节可能乍看上去并不显眼，导致这个问题的原因是在上一代 StyleGAN 中采用了 Progressive Growing 的训练方法，细节对位置有强偏好，特征发生移动时，位置不能随之发生相应的变化移动。

              

               

 

这次，研究人员借鉴了 MSG-GAN 模型架构的跳层连接（下图a），在此基础上对生成器和判别器进行优化，分别采用上采样和下采样（下图b），最后用残差网络（下图c）改进判别器。

             

 

这样一来，生成人脸的五官特征可以同时变化，不得不说，更挑不出毛病了。

              

 

3、模型新玩法

 

除了上面在图像合成效果和质量上的改进与优化，这次的 StyleGAN2 还有一个新玩法：可以把图像输入到模型中，如果能够完美复现，那就说明这个东西是「Made in StyleGAN」，并非真实存在于世间的。

 

作者指出，与此前反向合成网路的方法不同，他们使用了斜坡下降噪声并优化了生成器的随机噪声输入。

              

 

4、不止表现更好了，训练也快了

 

上一代 StyleGAN 在 1024 * 1024 分辨率下，用 NVIDIA DGX-1、8 Tesla V100 GPUs 每秒可训练 37 张图像，而配置 E 的训练速度可达 61img/s，提速 40%。配置 F（更大的网络）以 31 img/s 的速度进行训练，因此训练成本仅略高于最原始的 StyleGAN，而训练时间大大缩减，FFHQ 的总训练时间为 9 天，LSUN CAR 的总训练时间为 13 天。   

 

三、算法代码开源

 

这么好用，如果不亲自上手岂不辜负。目前，STyleGAN2 已经在 GitHub 开源并获得将近 1.2k Stars，在 Github Trending 排行榜中位列 Top 1。

             

 

不仅大家 Star 积极，还有更积极的网友，比如 @manicman1999 已经在 TF2.0 中复现了 STyleGAN2 并将项目代码开源了，下面是他 Mixing Styles 的结果。

             

 

还在等什么？我们在下方把论文地址、官方 TensorFlow 的复现地址都分享给大家，今天晚上又有得干了！

 

Paper：

http://arxiv.org/abs/1912.04958

官方 TensorFlow 复现

https://github.com/NVlabs/stylegan2

网友非官方 TF2.0 复现

https://github.com/manicman1999/StyleGAN2-Tensorflow-2.0

 

（*本文为AI科技大本营整理文章，转载请微信联系 1092722531）

◆

精彩公开课

◆

推荐阅读

• 讯飞轮值总裁胡郁：大数据是人工智能产业落地的必要保障| BDTC 2019

• 专访ClickHouse创始人：数据库竞争依旧火热，技术整合势在必行

• 商汤联手华科：提出文字检测模型GNNets，新颖模块可解决几何分布难题

• 20行代码发一篇NeurIPS：梯度共享已经不安全了

• 图灵奖得主Bengio：深度学习不会被取代，我想让AI会推理、计划和想象

• 4大主流CPU处理器技术架构，不知道就out了！

• 阿里云上万个 Kubernetes 集群大规模管理实践

• 公司倒闭，39 岁重新找工作，薪资不到 8000，太残酷！

• HTML + CSS 为何得不到编程界的认可？

• 

  你点的每个“在看”，我都认真当成了AI