语义金字塔式-图像生成：一种使用分类模型特征的方法

点击上方“机器学习与生成对抗网络”，关注"星标"

获取有趣、好玩的前沿干货！

1 概要

• https://arxiv.org/pdf/2003.06221.pdf

• https://semantic-pyramid.github.io/（代码暂未放出）

• 提出了一种新的基于GAN的模型，利用预先训练的分类模型学习的深度特征空间。

• 受经典图像金字塔表征启发，将模型构建为语义金字塔式的生成：低层信息包含的是精细的特征（纹理细节等），高层/深层的信息则涵盖高级语义信息（类别等）。

• 也就是说，给定参考图像，使用分类模型提取一组特征，所提出的生成模型可以根据它们其中不同的语义级别信息生成不同的图像样本。

• 这种设计可以有效完成三个目标：利用预训练分类模型不同级别的特征；灵活性和可控性；生成多样化的图像。

• 证明了所提方法可以作为一种通用灵活的框架，该框架可用于各种经典和新颖的图像生成任务：生成与参考图像具有可控制语义相似度的图像，图像修复和组合等。

2 架构

• 生成器与预训练的分类模型（预训练好并固定参数）协同工作：例如在实验中，使用在Places365数据集训练的VGG-16模型。

• 更具体地说，给定输入图像 ，将其输入分类模型，并通过获取模型不同层的激活得到一组特征图 。也就是说， ，其中 表示分类模型的第 层。然后将这些功能融合到生成器中，如下所示。

• 网络的输入是：（1）一组通过将输入图像 输入分类模型并从不同层提取激活图来计算得到的特征 ；（2）噪声矢量z，它可以使得生成多样化并去学习一个分布而非一对一（重建）映射；（3）一组掩码 ，每个掩码限制了如何使用输入特征 ；

• 图3（b）描述了如何将特征图融合到生成器中。特征图 首先乘以 。然后，将得到的特征图将进行卷积处理，并将结果与相应块的结果相加。

• 分类模型的特征流动到生成器，是受 控制的：例如，全1时，通过整个特征图；全0，遮盖整个特征图；或者允许部分（测试时可由用户制定）。

• 整个网络基于self-attention GAN。

3 训练

3.1 流程

• 我们的目标是从输入特征 的任何子集生成多样化的高质量图像样本。

• 在每次训练迭代中，都会从数据集中采样一批输入图像，并将其输入分类模型以计算其特征。

• 在默认训练步骤中，随机选择一个金字塔层，并仅将其用以融合生成器对应的层次；而同时遮盖所有其他层。

• 当然，还希望能够从多种语义层提取信息去生成内容，保留图像的某些区域，而又修改其他区域。因此，也使用空间变化的掩膜进行训练，首先，对图像随机裁剪进行采样，然后对于一个随机选择的层，将置1完全打开。如前面图4所示。

3.2  损失函数

• LSGAN版的对抗损失

• 语义重建损失

• 多样性损失（参考 Mode seeking generative adversarial networks for diverse image synthesis）

3.3  实现细节

4 实验

4.1 生成：

下图2中显示了一些示例。这些生成样本均来自相同的特征，但具有不同的噪声Z。分类模型更深或者更高层的抽象语义特征主导了类别、几何结构、更大范围的变动幅度；而分类模型较浅层的特征则控制的是细微的纹理、颜色的信息。

4.2 评估标准：

采用的是FID和用户调查：

注：

4.3 编辑：

• Re-painting（重绘）

• Semantic image composition（图像组合）

• Generation from unnatural reference image（从非自然真实场景进行图像生成）

• Re-labeling（类别重分配）

5 结论

这项工作提出了一种联系语义分类模型和生成模型的方法；展示了语义金字塔生成方法可以作为统一通用框架，用于多种图像生成和处理任务。作者认为，通过语义特征进行相关逆映射或其它操作是图像编辑的关键思路之一。

---

公众号近期荐读：

• GAN整整6年了！是时候要来捋捋了！ 

• 【无中生有的AI】关于deepfake的种类、危害、基础实现技术和挑战
  

• 数百篇GAN论文已下载好！配一份生成对抗网络最新综述！

• 图卷积网络GCN的理解与介绍

• 【CapsulesNet的解析】了解一下胶囊网络？

• 【综述笔记】一些弱监督语义分割论文

• 人脸生成新SOTA？它还是GAN。

• 结合GAN的零次学习（zero-shot learning）

• GAN的图像修复：多样化补全

• CVPR2020之MSG-GAN：简单有效的SOTA
  

• CVPR2020之姿势变换GAN：图像里谁都会劈叉？
  

• CVPR2020之多码先验GAN：预训练模型如何使用？
  

• 两幅图像！这样能训练好GAN做图像转换吗？ 

• 单图训GAN！如何改进SinGAN？
  

• 有点夸张、有点扭曲！速览这些GAN如何夸张漫画化人脸！
  

• 见微知细之超分辨率GAN！附70多篇论文下载！
  

• 天降斯雨，于我却无！GAN用于去雨如何？
  

• 脸部转正！GAN能否让侧颜杀手、小猪佩奇真容无处遁形？
  

• 容颜渐失！GAN来预测？
  

• 强数据所难！SSL（半监督学习）结合GAN如何？
  

• 弱水三千，只取你标！AL（主动学习）结合GAN如何？
  

• 异常检测，GAN如何gan ?

• 虚拟换衣！速览这几篇最新论文咋做的！
  

• 脸部妆容迁移！速览几篇用GAN来做的论文

• 【1】GAN在医学图像上的生成，今如何？

• 01-GAN公式简明原理之铁甲小宝篇

---

GAN&CV交流群，无论小白还是大佬，诚挚邀您加入！

一起讨论交流！长按备注【进群】加入：

更多分享、长按关注本公众号：