GAN是用来干嘛的?
相信大家跟笔者一样,认为它是生成各种妹子图的神器。
如图看看英伟达的StyleGan
秒杀分类AI,GAN图像分类刷新ImageNet纪录_第1张图片

有网友用它来生成二次元老婆:

秒杀分类AI,GAN图像分类刷新ImageNet纪录_第2张图片

当然脱衣神器也是名不虚传如图(有马赛克)

秒杀分类AI,GAN图像分类刷新ImageNet纪录_第3张图片

但是。。。今日不同往日

DeepMind团队,改造了“史上最强”的BigGAN,让她去做图像分类,并且刷新了ImageNet无监督表征学习的纪录,命名交BigBiGan.
她居然秒杀了各专注分类多年的AI高手(算法确实最容易弯道超车)。

我们来看看她图像质量依然非常不错:

秒杀分类AI,GAN图像分类刷新ImageNet纪录_第4张图片

不过她并非BigGAN的简单升级,而是增加了编码器和生成器,一次GAN作者Ian Goodfellow为它取名为BigBiGan。
秒杀分类AI,GAN图像分类刷新ImageNet纪录_第5张图片

我们来看看BigBiGan的原理吧:
给GAN加上编码器的想法,是从BiGAN那里继承的。
在原始的GAN架构里,生成器是个前馈映射,从随机取样的潜变量 (也叫噪音) ,映射到生成的数据 (假图) 上面。而编码器把真实数据 (真图) 映射到潜变量上。这样就有了两种不同方向的映射,成了双向GAN。

拒了解,在较早之前,BigGan也做过图像分类处理,BUT但是,BiGAN的生成器是DCGAN里面的生成的,不能产生高质量的图像,会导致后期编码器学习的语义质量不理想。

所以,Gan的大佬们决定让BiGAN的编码器,和BigGAN的生成器结合就有了我们的BigBiGan(男女搭配干活不累)。

但有了Baby就可以不管了吗,当然不是,判别器也是GAN的重要部分,它不断看穿生成器的作品,才让对方生产的假图越来越逼真。

判别器也是GAN的重要部分,它不断看穿生成器的作品,才让对方生产的假图越来越逼真,而判别器自身就是一个强大的神经网络,Gan团队的想法希望它可以在“语义 (Semantic) ”层面强调图像的重构误差,而不要太在意底层细节。
有了这个想法那么GAN团队开发了一个“联合判别器” (Joint Discriminator) ,这个判别器和普通的不同,输入数据不只是真图与假图数据 ,而是图像数据+潜变量的成对数据。

那么,它要区分的不是真图和假图,而是真图与潜变量组成的对子 (来自编码器) ,和假图与潜变量组成的对子 (来自生成器) 。

看下跑分成绩吧(是骡子是马牵出来遛一遛)
秒杀分类AI,GAN图像分类刷新ImageNet纪录_第6张图片

在ImageNet图像分类任务上,BigBiGAN成为了无监督算法中的地表最强。

秒杀分类AI,GAN图像分类刷新ImageNet纪录_第7张图片

BigBiGAN 模型在官方验证集上与最近使用监督式 logistic 回归分类器的同类方法进行比较。

与现有的监督逻辑回归分类器相比,BigBiGAN将ImageNet的top-1准确率提高到了61.3%。

当然BigBiGAN图像造假功能依旧强大:
秒杀分类AI,GAN图像分类刷新ImageNet纪录_第8张图片

上面一行是真实图像,下面是一行是假图像,不过不同于大多数GAN,比如BigGAN那样像素级的图像重建,BigBiGAN更重视高层的表征学习,也就更适合图像分类任务。

论文地址:https://arxiv.org/abs/1907.02544

关注微信公众号:“图像算法”或者搜索imalg_cn 即可获取更多资源