Diffusion Model（1）：预备知识

Diffusion Model（1）：预备知识

一、贝叶斯公式

​ 1. 条件概率: $p(X=x|Y=y)$是在已知$Y=y$的条件下，计算$X=x$的概率。

$$\begin{gathered} \begin{array}{c}p(x|y)=\frac{p(x,y)}{p(y)} \\ p(x,y)=p(x|y)p(y)=p(y|x)p(x)\end{array} \end{gathered}$$

​

​ 如果$x$和$y$相互独立，则:
$$\begin{array}{c}p(x|y)=p(x)\end{array}$$
​ 多个变量情况下:
$$\begin{array}{c}\begin{array}{r}P(x,y,z)=P(z|y,x)P(y,x)=P(z|y,x)P(y|x)P(x)\\ P(y,z|x)=\frac{P(x,y,z)}{P(x)}=P(y|x)P(z|x,y)\end{array}\end{array}$$
​ 2.基于马尔可夫假设的条件概率：

​ 如果满足马尔科夫链关系$A->B->C$，那么有
$$\begin{array}{c}\begin{array}{rl}P(x,y,z)=& P(z|y,x)P(y,x)=P(z|y)P(y|x)P(x)\\ & P(y,z|x)=P(y|x)P(z|y)\end{array}\end{array}$$
​ 3.全概率公式：

​ 离散情况下:
$$\begin{array}{c}p(x)=\sum _{y}p(x,y)=\sum _{y}p(x|y)p(y)\end{array}$$
​ 连续情况下:
$$\begin{array}{c}p(x)=\int p(x,y)dy=\int p(x|y)p(y)dy\end{array}$$
​ 4.贝叶斯公式:

​ 基于条件概率公式和全概率公式，可以推导出贝叶斯公式：
$$\begin{array}{rl}P(x,y)& =P(x|y)P(y)=P(y|x)P(x)\\ P(x|y)& =\frac{P(y|x)P(x)}{P(y)}=\frac{causalknowledge\cdot priorknowledge}{priorknowledge}\end{array}$$

• 其中$x$一般是某种状态；$y$代表着某种观测
• $P(y|x)$是$causalknowledge$ ，即由已知$x$的情况，就可以推算$y$发生的概率
• $P(x)P(y)$是$priorknowledge$，是对$x$概率的先验知识
• $P(x|y)$是基于观测对状态的诊断或推断。贝叶斯公式的本质就是利用causal knowledge和prior knowledge来进行状态推断或推理。

​ 当利用多种信息对一个状态进行猜测和推理时:
$$\begin{array}{c}\begin{array}{rl}P(x|y,z)& =\frac{P(x,y,z)}{P(y,z)}\\ & =\frac{P(y|x,z)P(x,z)}{P(y|z)P(z)}\\ & =\frac{P(y|x,z)P(x|z)P(z)}{P(y|z)P(z)}\\ & =\frac{P(y|x,z)P(x|z)}{P(y|z)}\end{array}\end{array}$$

二、重参数化

​ 若希望从高斯分布$N(\mu ,\sigma )$ 中采样，可以先从标准正态分布$N(0,\mathbf{I})$ 中采样出$z$ ，再得到$\sigma \ast z+\mu$ 。这样做的好处是将随机性转移到了$z$这个常量上，而$\sigma$和$\mu$则是仿射变换网络的一部分。

三、KL散度

​ 1.标准高斯分布概率分布：
$$\begin{array}{c}\mathcal{N}\left(x;\mu ,{\sigma }^2\right)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)\end{array}$$
​ 2.KL散度：
$$\begin{array}{c}{D}_{\text{KL}}(q(x)||p(x))={\mathbb{E}}_{q(x)}\log [q(x)/p(x)]\end{array}$$
​ 当$q(x)$和$p(x)$均为高斯分布的时候，KL散度具有封闭形式的公式:
$$\begin{array}{c}\begin{array}{rl}& D_{\text{KL}}(\mathcal{N}({\mu }_1,{\sigma }_1^2)||\mathcal{N}({\mu }_2,{\sigma }_2^2))=\log \frac{{\sigma }_2}{{\sigma }_1}+\frac{{\sigma }_1^2+({\mu }_1-{\mu }_2{)}^2}{2{\sigma }_2^2}-\frac{1}{2}\end{array}\end{array}$$
以上是在Diffusion Model（DDPM）推到过程中会用到的公式。
References:
deep_thoughts bilibili