Multimodel Image synthesis and editing:The generative AI Era

1.introduction

基于GAN和扩散模型，通过融入多模态引导来调节生成过程，从不同的多模态信号中合成图像；是为多模态图像合成和编辑使用预训练模型，通过在GAN潜在空间中进行反演，应用引导函数，或调整扩散模型的潜在空间和嵌入。

2.modality foundations

每一种信息源或形式都可以成为模态。

2.1 Visual guidance

视觉引导将特定图像属性编码在像素空间中，提供控制。视觉引导编码在2d像素空间中表示为特定类型的图像，因此可以通过多种图像编码策略直接进行编码，由于编码后的特征在空间上与图像特征对齐，可以使用拼接，spade，cross-attention等方式，webui中的图生图，通过autoencoderKL产生init_latent，文本通常会通过cross-attention融合模型，但输入的图像不会。

2.2 Text guidance

clip通过大量的图像-文本对训练产生了信息丰富的文本嵌入，广泛用于文本编码。

2.3 Audio guidance

与文本和视觉指导不同，音频指导提供了可以用于生成动态或连续视觉内容的时间信息。输入音频片段可以由一系列特征表示，这些特征可以是频谱图，fBanks，Mel频率倒谱系数(MFCC)以及预训练的SoundNet模型的隐藏层输出。

2.4 Others modality guidance

3.Methods

多模态图像合成和编辑大致分为5类，1.基于GAN的方法，2.自回归，3.扩散模型，4.Nerf，5.其他。

3.1 GAN-based Methods

3.1.1 Conditional GANs

CGAN通过额外信息来条件化生成过程。将额外信息输入生成器和判别器网络作为额外的指导来实现，生成器学习生成样本，既能欺骗判别器，又能与指定的条件信息匹配。

条件融合：对于目标图像在空间上对准的视觉指导，条件可以直接编码为提供生成或编辑的准确空间指导的2d特征，存在不同视角或严重变形时，编码的2d特征很难捕捉到指导和真实图像之间复杂的场景结构关系，可以使用注意力模块来将指导与目标图像对齐，简单使用深度网络对视觉指导进行编码是次优的，因为在归一化层中部分指导信息会丢失，可以使用SPADE，spatially-adaptive de-normalization来有效注入指导特征。复杂的条件也可以映射到中间表示，以更准确的生成图像，音频片段可以映射到面部特征点或3DMM参数以进行说话人脸生成。

模型结构：

损失函数：gan损失，感知损失，cycle loss，对比损失

3.1.2 Inversion of Unconditional GAN

通过预训练的GAN模型，将给定图像逆向映射到GAN的潜在空间中，称之为GAN逆向。具体而言，预训练的GAN学习从潜在code到真实图像的映射，而GAN逆向则将图像映射回潜在code，通过将潜在code输入预训练GAN并通过优化来重建图像实现，重建度量基于l1,l2,感知损失或lpips，在优化过程中，可以包含面部身份或潜在code的特定约束，通过获得潜在code，可以重建原始图像并在潜在空间中进行逼真的图像操作。

显式跨模态对齐：

隐式跨模态监督：除了将引导模态显式投射到潜在空间中，另一种是通过定义生成结果与引导模态之间的一致性损失来引导合成或编辑。styleclip使用clip表示之间的余弦相似度来监督文本引导的操作。

3.2 Diffusion-based methods

3.2.1 Conditional Diffusion models

可以直接将条件信息集成到去噪过程中来指定条件扩散模型。

条件融合：使用特定条件编码器将多模态条件投影到嵌入向量中，进一步纳入到模型中。特定条件编码器可以随模型一起学习，也可以直接从预训练模型中借用，比如clip，在ldm中，通过cross-attention将条件嵌入映射到扩散模型的中间层。

潜空间扩散：用自编码器学习与图像空间在感知上等价的潜空间，VQ-VAE，dalle2：clip潜空间。

3.2.2 Pre-trained diffusion models

与重新训练扩散模型相反，另一条路是通过适当的简单来引导去噪过程，或者微调。

引导函数方法：导向函数计算xt和y之间的一致性，可以通过某种相似度指标余弦相似度或者l2距离来度量，可以使用clip作为图像编码器和文本导向的条件编码器。

微调：可以通过修改潜在编码或调整预训练扩散模型来实现，为了适应文本引导，先通过正向扩散将输入图像转换为潜在空间，然后通过反向微调扩散模型以生成由目标文本和clip损失驱动的图像，对于预训练的条件模型(通常是文本)，类似于GAN反演，可以微调文本潜在嵌入或扩散模型以重构图像。另一种方法是利用逐步扩散采样，在去噪过程的早期阶段提供内容和结构保留的分数引导。

3.3 Autoregressive methods

通过将扁平化的图像序列视为离散标记，可以使用自回归模型，包括第一：向量量化阶段用于产生统一的离散表示并实现数据压缩，第二：自回归建模阶段，该阶段以栅格扫描的顺序建立离散标记之间的依赖关系。