【论文笔记 - 图像生成 - CVPR2022】Learning to Memorize Feature Hallucination for One-Shot Image Generation

论文地址：https://drive.google.com/file/d/1Gq-167f2ue30463K4XMkHOJThg9Yugk0/view
参考：1. 简单解读

本文研究的是图像生成领域中的单样本生成 $(One\text{-}ShotGeneration,OSG)$任务，要求能够将从基础类别数据集（有限，已知的）学习到的知识，泛化到新的、只有一张参考图片的类别上，生成多样化的并且合理的同类图像。就像人类能够通过联想和幻想来达到“见微知著”一样，我们希望模型能够识别，学习和记住一些类别无关的通用信息(特征)。

现有的单样本生成方案通常会隐式地学习一些可重用特征，从而很容易在预训练数据上过拟合。本文提出了一个新的模型，能够将图像特征显式分解为类别相关(Category-Related,CR)和类别无关(Category-Independent, CI)的特征。从而生成网络可以进一步利用与类别无关的 $CI$ 特征生成目标类别的新图像。

两个关键的挑战：

• 新类别的数据不足，每一个类只有一张图像可以使用（论文中的描述如下，而作者后面有说编码器 ${\mathbf{E}}_{cr}$ 计算同一分类的多个实例的平均特征得到 $f^{cr}$，所以训练数据每个类有多个数据，有一些歧义。）
• 训练类别和测试类别是分开的，并且得到的特征不一定能够应用到新类别图像的合成。

(1)There is insufficient training data as only one input image per class is available.

(2)Pre-training (base) categories and target (novel) categories are dis-jointed, and the features learned on base are not necessarily generalizable for image synthesis of target categories.

因此本文的关键就在于学习 $featuresofhallucination$，这些特征需要满足可重复使用并且从源类别可迁移到目标类别。

例如，先给定一张熊猫图像，那么在基础数据集（先验知识）上预先学习的与该类别无关 $(CategoryIndependent,CI)$ 的特征将被重复使用来幻想 $hallucinate$ 新的图片，合成的熊猫图像与基础数据集中的一些图像具有相似的草背景或类似的张嘴姿势。

本文的主要贡献，

• 提出了学习记忆特征幻想 $(MemorizeFeatureHallucination,MFH)$ 模型，该模型能够通过在原始数据集上的图像重建过程显式地学习 $CR$ 和 $CI$​ 特征。$MFH$ 包含学习记忆 $LearningtoMemorize,L2M$ 模型来分离图像特征并存储 $CI$ 特征以及特征幻想 $FeatureHallucination,FeaHa$ 模型来根据不同 $CI$ 和相同 $CR$ 来生成新图像。
• 为了有效地学习与类别无关的 $CI$ 特征，在没有标签的情况下，引入了隐式监督策略，来帮助模型显示地学习可在 $OSG$ 中重复使用的特征（如嘴部动作、背景纹理等）。简单来说就是给定来自同一类的两张不同生成图像（两张图片有相同的 $CR$，不同的 $CI$）计算损失。

1. 网络模型

网络结构如下图所示，$L2M$ 模块学习可在类别间重用的 $CI$ 特征，这些特征进一步存储在内存结构 $M$ 中。$FeaHa$ 组件从 $M$ 中采样，并与输入样本中提取的 $CR$ 特征连接，生成新图像。

1.1 L2M

模型的关键，

• 通过两个编码器 ${\mathbf{E}}_{cr}$ 和 ${\mathbf{E}}_{ci}$ 将图像映射到 $CI$ 和 $CR$ 两个特征嵌入空间，其中，编码器 ${\mathbf{E}}_{cr}$ 计算同一个类别中多个实例对象的平均特征，而编码器 ${\mathbf{E}}_{ci}$ 从单张输入图像 ${\mathbf{x}}_i$ 中提取特征 $f_i^{ci}$ ，
• 为了更有效的学习记忆，引入了寻址网络 $R$ 根据 $f_i^{ci}$ 生成 $one\text{-}hot$ 向量 ${\pi }_i$，表示每个 $CI$ 在 $M$ 中的位置，那么在生成图像阶段，通过后式来获取 $CI$ 特征，$f_i^{ci}={\pi }_i\cdot \mathbf{M}$

1.2 FeaHa

包含生成器和判别器，

• 生成器根据记忆中的 $CI$ 特征和新类别中的 $CR$ 特征生成新图片。将这两个特征连接起来作为网络的输入，并且在每个卷积层后采用了 $AdaIN$，在 $32\times 32$ 的特征图之前，使用类别无关特征 $f_i^{ci}$ 作为 $AdaIN$ 的条件，其余部分使用类别相关特征 $f^{cr}$，保证了输出图像和输入图像的类别相同。
• 判别器负责对抗训练，考虑到生成图像有严格的类别要求，采用了 $CGAN$ 的判别器结构，即输入为生成图像和类别相关向量，输出在该类别下是真图或者假图的概率。

2. 损失函数

总的优化目标如下所示，

$\mathrm{minmax}{\mathcal{L}}_{GAN}+{\lambda }_R{\mathcal{L}}_R+{\lambda }_{ds}{\mathcal{L}}_{ds}+{\lambda }_{cb}{\mathcal{L}}_{cb}$

其中，$\mathcal{L}{G A N}, \mathcal{L}{R}, \mathcal{L}{d s},\mathcal{L}{c l s} $ 分别代表 $GAN$ 对抗损失、重建损失、多样性损失和类别平衡损失。

对抗损失，由于采用了 $CGAN$，其中包含了类别的监督，由下式计算，

${\mathcal{L}}_{GAN}(G,D)={\mathbf{E}}_{\mathbf{x},\mathbf{y}}[-\log D(\mathbf{x},\mathbf{y})]+{\mathbf{E}}_{\mathbf{x},\mathbf{y}}\left[\log \left(1-D\left({\mathbf{x}}^{gen},\mathbf{y}\right)\right)\right]$

重建损失，是为了让网络更好的学习生成图像。根据输入的图像 $x$，可以获得 $f_{\mathbf{x}}^{ci}$ 和 $f_{\mathbf{x}}^{cr}$，那么生成器就可以根据这两个特征向量来生成图片，应该和源图保持一致，

${\mathcal{L}}_R={\mathbf{E}}_{\mathbf{x}}\left[{\Vert \mathbf{x}-G\left(f_{\mathbf{x}}^{cr},f_{\mathbf{x}}^{ci}\right)\Vert }_1\right]$

多样性损失，是监督 $MFH$ 提取可重用 $CI$ 特征的关键。从 $M$ 中选取 $f_{\mathbf{a}}^{ci}$ 和 $f_{\mathbf{b}}^{ci}$ ，然后根据输入图像得到的 $f_{\mathbf{x}}^{cr}$ 生成两张图片 ${\mathbf{x}}_a^{gen}$ 和 ${\mathbf{x}}_b^{gen}$，那么多样性损失就是促使两个图像有多大的不同，

${\mathcal{L}}_{ds}=\alpha -{\mathbf{E}}_{\mathbf{x}}\left[{\Vert G\left(f_{\mathbf{x}}^{cr},f_a^{ci}\right)-G\left(f_{\mathbf{x}}^{cr},f_b^{ci}\right)\Vert }_1\right]$

其中，$\alpha$ 就是控制多样性程度的超参数。整个计算过程如下图所示，

类别平衡损失，是为了使 $CI$ 的分布足够均衡，不集中在某个特征，

$L_{cb}=\mathrm{K}\mathrm{L}\left({\pi }_i\Vert q(\pi )\right)$

其中， $q(\pi )$ 为均匀分布。

3. 效果