Diffusion学习(1)-预备知识

Diffusion模型打响了AIGC的第一枪，我之前一直是做GAN这一块的图像生成，但是奈何Diffuison模型效果好的离谱，也趁着空闲时间抱着学习的态度看看到底是他是靠着什么"吊打"GAN的，但是在推Diffusion公式的时候，牵扯到很多比较细碎的小知识点，有一些因为不常用也都忘记了，这里正好补充在这里，方便后续快速查询。
关于Diffusion相关的论文推导后面会单独开一个新的文章进行介绍。

马尔科夫链

• 总体思想: 过去的所有信息都被保存在了现在的状态中，只使用现在状态就能预测到之后的状态，换句话说就是某个时刻的状态转移概率只依赖于它的前一个状态。

• 公式化表达:$P(x_{t+1}|x_t,x_{t-1},...,x_1,x_0)=P(x_{t+1}|x_t)$

• 举例:

  • 股市涨跌：当前股市的涨、跌、平的状态概率分别为[0.3,0.4,0.3]，当前股市的涨、跌、平的状态概率分别为[0.3,0.4,0.3]，且转移概率矩阵为:
    [ 0.9 , 0.075 , 0.025 0.15 , 0.5 , 0.05 0.25 , 0.25 , 0.5 ] (1) \left[\begin{matrix} 0.9,&0.075,&0.025\\ 0.15,&0.5,&0.05 \tag{1}\\ 0.25,&0.25,&0.5 \end{matrix}\right] ​0.9,0.15,0.25,​0.075,0.5,0.25,​0.0250.050.5​ ​(1)
    比如第二行第三列的0.05表示今天跌，明天平的概率。

    根绝上面的状态转移方程和今天的故事概率，可以依次得到后面每一轮涨、跌、平的概率:

    $[0.405,0.4175,0.1775]\to [0.4715,0.49875,0.11975]\to ...\to [0.625,0.315,0.0625]$

    并且轮数在尽可能大的时候(60轮)，那么状态概率就一直保持在$[0.625,0.315,0.0625]$，这也是马尔科夫链的状态转移稳定性。

  • 放回袋中的取球问题:当前取球颜色的概率只与上次取完后的结果有关。

高斯分布的可加性

两个独立高斯分布相加仍然是高斯分布，且相加后的高斯分布均值为原两个高斯分布均值之和，方差为原方差之和:
$$\mathcal{N}(x_1;{\mu }_1,{\sigma }_1^2)+\mathcal{N}(x_2;{\mu }_2,{\sigma }_2^2)=\mathcal{N}(x_1+x_2;{\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2)\text{\hspace{1em}(2)}$$

AE和VAE

• AE(AutoEncoder)

  • 基本概念: 输入的图片数据X经过Encoder后会得到一个比较确切的latent code Z(对这个latent code无其他约束)，这个Z通过Decoder重建出图像X’，损失函数就是X和X’的重建MSE损失值。
  • 用处: 数据去噪、数据降维(配合适当的维度和稀疏约束，自编码器可以学习到比PCA等技术更有意思的数据投影)

• VAE(Variational AutoEncoder)

  • 区别于AE: 相比于AE，VAE更倾向于数据生成。只要训练好了Decoder，我们就可以从latent space的某一个标准正态分布采样latent code作为解码器Decoder的输入，来生成类似的、但是但不完全相同于训练数据的新数据，也许是我们从来没见过的数据，作用类似GAN

  • 重点: 在训练过程中，就像AE一样输入数据x被输入到Encoder输入通过一系列层（由超参数控制）来减少其维度，以获得压缩的latent code z。但是Encoder并不是直接输出latent code z，而是输出每个潜在变量的平均值和标准差，注意这里说的是每个！即对于每一个输入样本x我们都期望其经过encoder得到的latent code也是一个正态分布中采样得到的，那么对于k个样本x就有k个正态分布，然后就有k个分别从这k个正态分布中采样得到的latent code用于输入到decoder中重建原输入x。而为了得到这k个正太分布我们就需要有k组均值和方差。

    Latent code的方差不能为 0，因为我们还想要给模型一些训练难度。如果方差为 0，模型永远只需要学习高斯分布的均值，这样就丢失了随机性，VAE就变成AE了……**这就是为什么VAE要在AE前面加一个Variational：我们希望方差能够持续存在，从而带来噪声！**那如何解决这个问题呢？不仅需要保证有方差，还要让所有 $P(Z|X)$ 趋于标准正态分布 $\mathcal{N}(0,\mathrm{I})$。

  
  VAE框架(原图来自 HeptaAI.zhihu)

• 损失函数: 除了和AE中的重构MSE损失之外，VAE还有一个相似度损失，即latent space与标准高斯（零均值和单位方差）之间的KL散度
  
  VAE损失计算(原图来自 数据派THU)

参考：

• 如何通俗理解扩散模型？
• 深度学习《再探AE和VAE的区别》
• AutoEncoder (AE) 和 Variational AutoEncoder (VAE) 的详细介绍和对比

重参数技巧

如果我们需要从某个随机分布(如高斯噪声)中采样一个样本，这个过程是不可微的也无法进行反向传播，此时我们可以通过重采参数技巧使其可微。比如我们想要从一个普通高斯分布$z\sim \mathcal{N}(z;\mu ,{\sigma }^2)$中采样一个$z$，那么我们就可以额外引入一个服从于标准高斯分布的独立随机变量$ϵ\sim \mathcal{N}(0,1)$，然后对这个随机变量缩放或偏移以接近原始待采样的分布，这个缩放和偏移的过程就是重参数的主要公式:
$$z=\mu +\sigma \cdot ϵ,其中ϵ\sim \mathcal{N}(0,\mathrm{I})\text{\hspace{1em}(3)}$$
即对一个标准高斯分布按照指定的标准差和均值进行缩放、偏移，就能获得符合原高斯分布$\mathcal{N}(z;\mu ,{\sigma }^2\mathrm{I})$的采样结果。

积分、求和、期望的关系

• 离散随机变量的期望:将该离散随机变量的每个观测值$f(x)$乘以各自的出现的概率$p(x)$，最后求和就得到期望:
  $$E_{p(x)}[f(x)]=E[f(x)]=\sum _{i}p(x_i)f(x_i)，且概率总和\sum _{i}p(x_i)=1\text{\hspace{1em}(4)}$$

​ 举一个掷骰子的例子，6个面每个面的向上的概率是$\frac{1}{6}$，那么其向上的点数值的期望就是:
$$1\times \frac{1}{6}+2\times \frac{1}{6}+3\times \frac{1}{6}+4\times \frac{1}{6}+5\times \frac{1}{6}+6\times \frac{1}{6}=3.5\text{\hspace{1em}(5)}$$

• 一个连续随机变量将它的概率密度$p(x)$和观测值$f(x)$的相乘，再把这个随机变量所有取值都算上后做定积分，就能得到这个随机变量的期望值:
  $$E_{p(x)}[f(x)]=E[f(x)]=\int p(x)f(x)dx，且概率密度总积分\int p(x)dx={\int }_{x}p(x)=1\text{\hspace{1em}(6)}$$

条件概率、边缘概率、联合概率

• 联合概率:多个条件同时成立的概率，记作$P(A,B)$
• 边缘概率:与联合概率相对应，记作P(A)或P(B)，在不考虑其他白能量取值的情况下其中某个单个随机变量有关的概率。
• 条件概率:在事件B发生的前提下事件A发生的概率，记作$P(A|B)$

$$\begin{array}{rl}边缘、联合概率的关系:P(A)& =\sum _{i}P(A,B_i)或P(A)={\int }_{B}P(A,B)\\ 边缘、联合、条件概率的关系:P(A|B)& =\frac{P(A,B)}{P(B)}\end{array}\text{\hspace{1em}(7)(8)}$$

• 全概率:某一个单独事件发生概率等于这个事件在其他完备事件的条件概率之和:
  $$P(A)=\sum _{i}P(A|B_i)P(Bi)\text{\hspace{1em}(9)}$$
  其实就是公式(7)的$P(A,B_i)$利用公式(8)进行展开

贝叶斯公式

贝叶斯公式由条件概率公式可以进一步推导得到:
$$\begin{array}{rl}P(A|B)& =\frac{P(A,B)}{P(B)}=P(B|A)\frac{P(A)}{P(B)}\\ P(A|B,C)& =P(B|A,C)\frac{P(A|C)}{P(B|C)}\end{array}\text{\hspace{1em}(10-1)(10-2)}$$
其中$P(A|B,C)$表示在时间B和C同发生时，事件A发生的概率。

此外针对公式10-2有一些衍生的公式如下:
$$\begin{array}{rl}P(A|B,C)& =\frac{P(A,B,C)}{P(B,C)}\\ & =\frac{P(B|A,C)\ast P(A|C)\ast P(C)}{P(B|C)\ast P(C)}\\ & =P(B|A,C)\frac{P(A|C)}{P(B|C)}\end{array}\text{\hspace{1em}(11)}$$

此外对于公式(11)的第一步的分子分母同时除以$P(C)$有:
$$\begin{array}{rl}P(A|B,C)& =\frac{P(A,B,C)/P(C)}{P(B,C)/P(C)}\\ & =\frac{P(A,B|C)}{P(B|C)}\end{array}\text{\hspace{1em}(12)}$$
其中$P(A,B|C)$表示在事件C发生时，事件A和事件B同时发生发生的概率。

最大似然估计(MLE)

最大似然估计是被使用最为广泛一种参数估计方法，其核心思想就是:那么既然事情已经发生了，为什么不让这个出现的结果的可能性最大呢？。在深度学习中通俗来讲就是利用已知的样本信息(比如我们的训练数据集)，去反推最有可能“完美”生成这批样本的模型的参数值，其满足的一个前提就是样本独立同分布。
这个参考文献中举了一个“袋中摸球”的例子很形象讲的很精彩，此外再完全引用其中的一段话：
" 对于函数$P(x|\theta )$输入有两个：$x$表示某一个具体的数据/样本；$\theta$表示模型的参数。

• 如果$\theta$是已知确定的，$x$是变量，这个函数叫做概率函数(probability function)，它描述在模型时对于不同的样本点x，其出现概率是多少。
• 如果$x$是已知确定的，$\theta$是变量，这个函数叫做似然函数(likelihood function), 它描述对于不同的模型参数，出现x这个样本点的概率是多少。"

在深度学习中我们通常是样本$x$已知去计算未知的模型参数$\theta$，即$P(x|\theta )$变成了一个似然函数，最大似然估计就是要求得参数$\theta$使得该似然函数的值最大。

所以最大似然估计的函数表达式也很简单,就是最大化下面的函数:
$$E_{q(x)}\log (p(x|\theta ))\text{\hspace{1em}(13)}$$
再举一个平时我自己用的一个例子:

对于深度学习中的分类问题，假定$y=f_{\theta }(x)$即样本x经过参数为$\theta$的网络$f_{\theta }$后输出的类别概率分布为$y$，如果类别数是n，则y是一个长度为n的概率分布，其中元素$y^j$表示预测为第j类的概率，样本的GT我们规定为是一个长度为n的one-hot向量$y^j$，那么我们最好的网络肯定是希望预测的概率$y^i$和真实的标签$y^i$是近乎相同的()，那么可以将这种相似性写成如下形式:
$$P(y|\theta )=\prod _{j=1}^n(y^j{)}^{y^j}\text{\hspace{1em}(14)}$$
通俗点理解就是希望在$y$中为1的位置$y$也为1；在$y$中为0的位置$y$也为0，对上式左右取log得:
$$\log P(y|\theta )=\sum _{j=1}^n{y}^j\cdot \log (y^j)\text{\hspace{1em}(15)}$$
可以发现上面其实就是计算两个离散分布$\tilde{y}$和$y$的交叉熵的负数，最大化上面的结果就等于最小化这两个分布的交叉熵。而交叉熵其实这也就是分类任务中普遍常用的损失函数。

拓展:最大后验概率估计(MAP)

相比较于最大似然估计，最大后验概率估计是最大化$p(x|\theta )p(\theta )$，即最合适的$\theta$不仅仅让似然函数$p(x|\theta )$最大，也要让$p(\theta )$尽量大，因为根据贝叶斯公式有:$p(\theta |x)=\frac{p(x|\theta )p(\theta )}{p(x)}$，因为$p(x)$是真实数据分布，所以最大后验估计优化的上式分子最大值，其实也就是整体$p(\theta |x)$的最大，即后验证概率，这也就是"最大后验概率估计"的名字由来。 参考文献讲的很好。

最大似然估计(MLE)和最大后验概率估计(MAP)的区别在于:MAP就是多个作为因子的先验概率$p(\theta )$。或者也可以反过来认为MLE是把先验概率$p(\theta )$认为等于1，即认为$\theta$是均匀分布。

变分下限(Variational Lower Bound)

变分下限(VLB)也叫evidence lower bound (ELBO).

在最大似然估计中，有时候难以直接计算并最大化似然函数$p(x|\theta )$–也可以写成$p_{\theta }(x)$那么如果我们可以知道他的一个下界，那么最大化他的一个下界，也就可以保证原始的似然函数$p(x|\theta )$尽可能大。这里我们要引入另一个分布$q(z)$，我们可以理解为$x$和$z$分别是VAE中的观测值(原始数据)和隐变量，两者的关系为我们将隐变量$z$输入到一个decoder中得到结果$x$，其中隐变量$z$一般我们可以规定其从高斯分布中采样而来，即$q(x)$可以假定为一个高斯分布，现在我们从两个角度求原似然函数$p(x|\theta )$的下界，其中$p(x|\theta )$均简写为$p(x)$。

• 琴生不等式:
  $$\begin{array}{rl}\log p(x)& =\log {\int }_{z}p(x,z)\\ & =\log {\int }_{z}p(x,z)\frac{q(z)}{q(z)}\\ & =\log (E_{q(z)}\frac{p(x,z)}{q(z)})\\ & \ge E_{q(z)}\log \frac{p(x,z)}{q(z)}\\ & =E_{q(z)}\log p(x,z)-E_{q(z)}\log q(z)\\ & =E_{q(z)}\log p(x,z)+H(q)\\ & =VLB\end{array}\text{\hspace{1em}(全概率公式)(积分求和变期望)(琴生不等式)(熵的公式)(16)}$$

• KL散度:
  $$\begin{array}{rl}\log p(x)& =\log p(x){\int }_{z}q(z)\\ & ={\int }_{z}q(z)\log p(x)\\ & ={\int }_{z}q(z)\log \frac{p(x,z)}{p(z|x)}\\ & ={\int }_{z}q(z)\log \frac{p(x,z)q(z)}{q(z)p(z|x)}\\ & ={\int }_{z}q(z)\log p(x,z)-{\int }_{z}q(z)\log q(z)+{\int }_{z}q(z)\log \frac{q(z)}{p(z|x)}\\ & =E_{q(z)}\log p(x,z)-E_{q(z)}\log q(z)+E_{q(z)}\log \frac{q(z)}{p(z|x)}\\ & =E_{q(z)}\log p(x,z)+H(q)+KL(q(z)||p(z|x))\\ & \ge E_{q(z)}\log p(x,z)+H(q)\\ & =VLB\end{array}\text{\hspace{1em}(概率密度积分∫zq(z)=1)(同乘q(z))(KL散度的非负性)(17)}$$

琴生不等式

凸函数$f(x)$满足对于任意点集$x_i$有:
$$\begin{array}{rl}离散型表示:\sum _i{\lambda }_{i}f(x_i)& \ge f(\sum _i{\lambda }_i{x}_i)\\ 概率论中表示:E[f(x)]& \ge f(E(x))\\ 连续性表示:\int f(x)\lambda (x)dx& \ge f(\int x\lambda (x)dx),其中\lambda (x)为概率密度\end{array}\text{\hspace{1em}(18-1)(18-2)(18-3)}$$
而凸函数的定义也很简单，其实就是向下凸的函数，常见的凸函数有$\log (x)、x^2$等

换句话说就是:函数值的加权和$\ge$加权和的函数值

KL散度计算

KL散度又称相对熵，用于描述两个概率分布$P$和$Q$的差异性

• 一般分布的KL散度求解:
  $$\begin{array}{rl}{D}_{KL}(P||Q)& =\sum P(x)\log \frac{P(x)}{Q(x)}\\ & =-\sum P(x)\log Q(x)+\sum P(x)\log (P(x))\\ & =H(P,Q)-H(P)\end{array}\text{\hspace{1em}(19)}$$
  可以看到最终KL散度其实可以转化成交叉熵$H(P,Q)$和熵$H(P)$的差，且KL散度有两个重要性质:

  • 非对称性:$D_{KL}(P||Q)\ne D_{KL}(Q||P)$
  • 非负性:$D_{KL}(P||Q)\ge 0$，仅在$P=Q$时取0

拓展: JS散度

正是由于KL散度的不对称性问题使得在某些训练过程中可能存在一些问题，为了解决这个问题则在KL散度基础上引入了JS散度，假定$M=\frac{1}{2}(P+Q)$，则JS散度可以表示为:
$$\begin{array}{rl}JDS(P||Q)& =\frac{1}{2}KL(P||M)+\frac{1}{2}KL(Q||M)\\ & =\frac{1}{2}\sum p(x)\log \left(\frac{p(x)}{p(x)+q(x)}\right)+\frac{1}{2}\sum q(x)\log \left(\frac{q(x)}{p(x)+q(x)}\right)+\log 2\end{array}\text{\hspace{1em}(20)}$$
参考文献中的一段内容: JS散度是对称的，其取值是 0 到 1 之间。如果两个分布 P和Q 离得很远，完全没有重叠的时候，那么KL散度值是没有意义的，而公式(11)中JS散度值两个$\sum$是0，所以总体JS散度是一个常数(log2)，这在学习算法中是比较致命的，这就意味这这一点的梯度为 0,梯度消失了。

证明P、Q不重叠时JS散度其实也很简单，就是因为不重叠，所以任意一个x，$p(x)$和$q(x)$中至少有一个为0，再计算公式(11)就很容易得到两个$\sum$都是0，最后JS散度就变成了常数log2.

思考:为什么会出现两个分部没有重叠的现象?
真实数据的分布其实是高维空间下的一个低维流行(可以类比想象成立体3维空间里的一个2维平面，而真实情况下可能空间维度)，我们的数据没有"撑满"整个空间，这就导致很难重合。原始GAN的损失函数的最终优化目标就是优化真实数据分布和生成数据分布的JS散度，所以GAN有时候可能会出现训练崩塌的情况。

高斯分布的KL散度的快速求解

对于特殊的分布-高斯分布，我们可以直接通过其均值和方差快速求解KL散度:
KaTeX parse error: Multiple \tag

上面分别表示一元高斯分布和多元高斯分布的KL散度直接求解，其中$det(A)$和$tr(A)$分别表示矩阵的模和迹。
参考链接

重积分下的Fubini定理

富比尼定理提供了逐次积分的方法计算双重积分的条件。不但可以用逐次积分计算双重积分，而且在交换逐次积分的顺序时，保证了积分结果不会变

• $如果:f(x,y)=h(x)g(x)，则{\int }_{A}h(x)dx\cdot {\int }_{B}g(y)dy={\int }_{A\times B}d(x,y)$
• ${\int }_A[{\int }_{B}f(x,y)dy]dx={\int }_B[{\int }_{A}f(x,y)dx]dy={\int }_{A\times B}f(x,y)d(x,y)$