AIGC之论文笔记DALL-E

---

Zero-Shot Text-to-Image Generation

一. 简介

机构：openai
代码：https://github.com/openai/DALL-E

人们常说自然语言处理是人工智能皇冠上的明珠，这些年transformer以及大规模语言模型LLM的蓬勃发展，让这颗明珠更加熠熠生辉。除此之外，ViT，MAE等方法也充分验证了图像在transformer以及大规模预训练之路上的可行性，那么近一步的思考，就是如何跨越图像，文本等多种模态的鸿沟，让机器真正实现智能？理解人类生活中存在的各种模态？接收人类的指令，与物理世界交互？实现视，听，说，触等人类感知在机器上的应用。这份思考也让多模态这个领域这些年如火如荼，模态可能不只包括图像，文本，视频，音频等，除此之外，人体姿态，3D模型等等都可以视作一种广义上的模态，但一般上更关注图像以及文本，一方面：图像文本是人类世界分布最广的两种媒介，蕴含着巨大的信息，另一方面：各种模态之间往往也可以相互转化，比如音频转化为文本，视频切帧为图像。

就图像和文本而言，有多种benchmark任务建立起两种模态之间的桥梁，包括但不限于多模态检索：文本检索图像，图像检索文本，多模态生成：文本生成图像，图像生成文本，多模态问答：VQA等。其中文本生成图像是一个备受关注的领域，之前的技术路线多是基于VAE，GAN等，在特定数据集或者特定域进行生成，比如CUB或者MS-COCO，生成效果差，细节不逼真，离通用，泛化性强的生成能力还相去甚远，这两年DALL-E的一鸣惊人，加上后来diffusion model的井喷式发展，让人看到了机器拥有艺术创造以及设计的希望，其生成的图像往往能够以假乱真，在真实性，多样性，创造性等方面，远远超过之前的模型。

今天，我们先聊一聊DALL-E。按照中文的谐音，DALL-E 音同 dali，所谓大力出奇迹，在这儿仿佛也算是如其名，有气吞山河山河之势。参考https://mp.pdnews.cn/Pc/ArtInfoApi/article?id=28457810 才知道openai的初衷是"让机器拥有顶级艺术家，设计师的创造力，因此结合了艺术以及机器的两位代表性标杆：艺术家萨尔瓦多·达利（Salvador Dali）

和皮克斯《机器人总动员》中的 WALL-E，用DALL-E向他们致敬。

摘要：
Text-to-image generation has traditionally focused on finding better modeling assumptions for training on a fixed dataset. These assumptions might involve complex architectures, auxiliary losses, or side information such as object part labels or segmentation masks supplied during training. We describe a simple approach for this task based on a transformer that autoregressively models the text and image tokens as a single stream of data. With sufficient data and scale, our approach is competitive with previous domain-specific models when evaluated in a zero-shot fashion.

论文的摘要比较朴实，其指出先前的文本生成图像任务在特定的数据集上展开，往往训练过程伴随着复杂的网络结果，额外的损失函数或者监督信息。而DALL-E用transformer（12亿参数）自回归地建模图像以及文本tokens，当给定足够的数据（文中用了2.5亿网络图文对），往往能以一种zero-shot的方式，与在某个特定域的专精模型相匹敌。当然，笔者其实对这个zero-shot一直打一个天大的问号，也不太清楚为什么DALL-E主打zero-shot这个点。

二. 方法

整体思路借鉴了：VQ-VAE与VQ-VAE2，即对图像并不直接在像素级别上自回归，而是将图像编码为离散的tokens，再进行建模，这样能够降低复杂度以及长序列的建模难度。具体而言，方法分为了两个阶段：

1. 第一阶段：训练一个离散自编码器dVAE，将$256\ast 256$的RGB图像压缩为$32\ast 32$个tokens，每个token都有8192个可能的选择，即code book的大小是8192。这样transformer建模的上下文大小从$256\ast 256\ast 3$ 降低到$32\ast 32$，压缩了192倍，但视觉质量却没有很大的损失（但其实细节，会有一些损失，比如下图）
   

2. 第二阶段：将256个BPE编码的文本token，与上面的$32\ast 32=1024$个视觉token进行concate，然后用一个自回归transformer建模图像和文本token的联合分布。
   那么整体的文本生成图像的优化目标，可以视作优化一个关于图像$x$，文本描述$y$，视觉token$z$的ELB。

其中

• qφ denotes the distribution over the 32 × 32 image tokens generated by the dVAE encoder given the RGB image x;（注意论文在这一句有一个注释：We assume that y is conditionally independent of x given z.，有谁知道这句话的目的是什么吗？）
• pθ denotes the distribution over the RGB images generated by the dVAE decoder given the image tokens;
• pψ denotes the joint distribution over the text and image tokens modeled by the transformer.