DALLE2-文本图像生成

文章目录

  • 摘要
  • 算法
    • 解码器
    • prior
  • 图像处理
    • 变体
    • 插值
    • 文本差异
  • 限制

论文: 《Hierarchical Text-Conditional Image Generation with CLIP Latents》
github: https://github.com/lucidrains/DALLE2-pytorch
https://github.com/LAION-AI/dalle2-laion

摘要

CLIP已经被证明可以学习语义或风格表征,作者提出二阶段模型,给出文本描述,利用先验模型生成CLIP图像嵌入,解码器利用图像嵌入生成图像;解码器作者使用扩散模型;prior作者使用自回归及扩散模型,发现后者计算高效,生成样本质量高。

算法

( x , y ) (x,y) (x,y)表示图像及对应caption, z i 、 z t z_i、z_t zizt为CLIP提取图像特征及文本特征;
DALLE2生成过程使用两个组件:
1、prior P ( z i ∣ y ) P(z_i|y) P(ziy基于caption y y y生成图像编码 z i z_i zi
2、decoder P ( x ∣ z i , y ) P(x|z_i, y) P(xzi,y)基于CLIP提取图像编码 z i z_i zi生成图像x,可选择使用caption y;
DALLE2-文本图像生成_第1张图片
DALLE2文本图像生成过程如图2:
1、CLIP将文本进行编码,通过自回归或扩散模型(prior)生成图像编码先验,
2、图像编码通过扩散模型解码器(decoder)生成最终图像

解码器

作者使用扩散模型基于CLIP所生成的图像embedding生成图像,具体使用改进GLIDE,将CLIP embedding添加进timestep embedding中,映射CLIP embedding为4个额外token,与GLIDE文本编码器输出进行concat;

prior

解码器可将CLIP图像embedding z i z_i zi生成图像x,先验器将caption y生成图像embedding z i z_i zi;有两种方案:
1、AR(自回归先验):使用CLIP将图像embedding z i z_i zi转换为离散序列,基于caption y进行自回归预测;
2、扩散先验;基于caption y使用高斯扩散模型对连续向量 z i z_i zi进行直接建模;
DALLE2中扩散先验,作者训练仅包含解码器的Transformer,其使用包括因果关系的mask在序列上进行:文本编码、CLIP文本embedding、扩散模型timestep embedding、噪声CLIP image embedding、最终Transformer输出embedding.

图像处理

变体

对于表征$(z_i,x_T)通过超参控制采样,η=0,则为重构原图,η越大引入更大随机性,如图3;

插值

如图4,对于两张图片x1,x2,通过CLIP进行编码 z i 1 , z i 2 z_{i1},z_{i2} zi1zi2,两者进行插值;

文本差异

对于两文本输入通过CLIP进行编码 z t , z t 0 z_t,z_{t0} ztzt0,计算向量差异zd,对 z i 、 z d z_i、z_d zizd进行插值得到CLIP表征;

限制

1、DALLE2相对于GLIDE容易忽视两目标各自属性;
DALLE2-文本图像生成_第2张图片
2、 解码器容易混合目标属性
DALLE2-文本图像生成_第3张图片
3、难以生成连续文本
DALLE2-文本图像生成_第4张图片

你可能感兴趣的:(跨模态,论文详解,数据生成,深度学习,人工智能,计算机视觉)