神秘的图像进化：单GPU扩散蒸馏中的相对与绝对位置匹配之谜

在人们对图像生成和创作的无尽追求中，扩散模型就像一种魔法，将最初一团朦胧的高斯噪声慢慢“绘制”出精致的图像。近期，一篇题为“High Quality Diffusion Distillation on a Single GPU with Relative and Absolute Position Matching”的论文，为我们展示了一种在单个GPU上也能完成高质量扩散蒸馏的惊艳方法——RAPM。它利用相对与绝对位置匹配，帮助学生模型“跟拍”教师模型产生的细腻采样轨迹，从而在极其有限的计算资源下完成高分辨率文本到图像的生成。接下来，我们将沿着这条轨迹，追溯扩散模型的演化之路，探索其中的技术奥妙与科学故事。

---

前言：扩散模型揭开图像生成的奥秘

扩散模型（Diffusion Probabilistic Models）近年来在图像生成领域大放异彩。其基本思路是：从完全随机的高斯噪声经过连续的“反演”过程还原出真实图像。想象一下在浓雾中逐步显露出一座风景画的轮廓，每一步都像是仙女挥动魔杖，把混沌转化成清晰。论文开篇便指出了一个关键问题：高质量生成往往需要进行无数次神经函数求值（NFE），耗费巨大计算资源，而传统方法需要8至64块GPU和大量数据批量，令许多研究者望而却步。

在这样的大背景下，作者提出了一种全新的单GPU扩散蒸馏方案——RAPM（Relative and Absolute Position Matching），其核心在于利用教师模型生成的采样轨迹与学生模型的输出在相对与绝对位置上的一致性来指导学习。这样一来，即便只有一个GPU、批量仅为1，学生模型也能以极低的计算资源复制教师模型的“轨迹魔法”，生成足以媲美最优解的图像。

---

基本原理：从高斯噪声到清晰画面

扩散模型的工作流程可以类比为一场“演化秀”。假设数据样本 x 来自于某个真实分布，扩散过程便是将 x 拓展到高斯噪声的状态。数学上，这一步可被写作
$$q_{t|0}({\mathbf{z}}_t|\mathbf{x})=\mathcal{N}({\alpha }_t\mathbf{x},{\sigma }_t^{2}I),$$
其中 ${\alpha }_t$ 和 ${\sigma }_t$ 分别是控制数据衰减和噪声幅度的函数。当时间 t 从0逐渐增加，到达最大时刻 T 时，我们得到的样本几乎完全为高斯噪声。接下来，反向过程——通过求解一个对应的常微分方程（ODE），逐步去除噪声，最终还原出近似真实分布的图像。
正如一幅画作从粗糙的草图，经过一系列细致的修正，最终呈现出多彩生动的景象。

利用上述原理，扩散模型的训练目标便是学习一组神经网络参数，使得模型能够反向还原这一过程，并通过一个噪声估计器来获得指向更高概率区域的数据分布。这其中，不仅涉及数据与噪声之间的转换，还要调控好每一步的“时间尺度”，确保最后生成的图像既清晰又具备细节。

---

解密RAPM：相对与绝对位置匹配之道