【文生图系列】基础篇-马尔可夫链
文章目录
-
- 马尔可夫链
- 转移矩阵
-
- 例子
- 应用实例
- 参考
在阅读论文Denoising Diffusion Probabilistic Models时，发现论文里面介绍扩散概率模型（diffusion probabilistic model）是一个参数化的马尔科夫链（parameterized Markov chain），使用变分推理进行训练，以便能在有限的时间后产生与数据匹配的样本。为了能够深层次全面了解扩散模型的原理，所以先搁浅论文阅读，复习一些什么是马尔科夫链。
马尔可夫链
马尔可夫链是一个数学系统，它根据某些特定的概率规则从一个状态转换到另一个状态。马尔科夫的定义特征是：无论过程如何到达当前的状态，未来的状态都是固定的。也就是说，转换到任何特定状态的概率都取决于当前的状态和过去的时间。马尔可夫链是一个随机过程，而上述的特性也让它与一般的随机过程不同。马尔可夫链必须是“无记忆的”，未来行动的概率不取决于导致当前状态的步骤。，这被成为马尔可夫性质。
举一个小例子，便于快速理解马尔可夫性质。假设一个包里面有多个颜色的球，每次从包里面取出一个球，求每次得到一个特定颜色球的概率。这就构成了一个随机过程，随机变量是球的颜色。但是上述随机过程并不满足马尔科夫性质，每次取出球之后，包里球的总数会发生变化，那么 t t t时刻取出特定颜色球的概率受前 t − 1 t-1 t−1时刻所取球颜色的影响。那如何更改取球规则，才能使此随机过程满足马尔可夫性质呢？马尔可夫性质要求 t t t时刻取出特定颜色球的概率不受前 t − 1 t-1 t−1时刻的取球行为的影响，也就是说，每个时刻取球的概率是独立的。那我们更改条件，每次取球时记录球的颜色，然后将球再放入包中。这样，不论哪个时刻，包里球的总数是不变的，取出特定颜色的球的概率不受前几个时刻的取球动作的影响。这个随机过程满足马尔可夫链性质。
直白地说，一个马尔科夫链就是一系列满足条件独立规则的随机变量 X 0 , X 1 , X 2 , ⋯ X n X_{0}, X_{1}, X_{2}, \cdots X_{n} X0,X1,X2,⋯Xn。对任何正整数 n n n和随机变量的可能状态 i 0 , i 1 , ⋯ , i n i_{0}, i_{1}, \cdots, i_{n} i0,i1,⋯,in，马尔可夫性质可用公式表示为：
P ( X n = i n ∣ X n − 1 = i n − 1 ) = P ( X n = i n ∣ X 0 = i 0 , X 1 = i 1 , ⋯ , X n − 1 = i n − 1 ) P\left( X_{n} = i_{n} | X_{n-1} = i_{n-1} \right) = P\left( X_{n} = i_{n} | X_{0}=i_{0}, X_{1} = i_{1}, \cdots, X_{n-1} = i_{n-1} \right) P(Xn=in∣Xn−1=in−1)=P(Xn=in∣X0=i0,X1=i1,⋯,Xn−1=in−1)
转移矩阵
马尔科夫链 { X } \{X\} {X}在时刻 t t t的转移矩阵 P t P_{t} Pt是一个包含状态之间转换概率信息的矩阵。矩阵 P t P_{t} Pt第 i i i行第 j j j列的元素信息，用数学公式表示为： ( P t ) i , j = P ( X t + 1 = j ∣ X t = i ) \left( P_{t} \right)_{i,j} = \mathbb{P} \left( X_{t+1}=j | X_{t} = i \right) (Pt)i,j=P(Xt+1=j∣Xt=i)。由上述公式可以看出，转换矩阵的每一行是一个概率向量，向量里面元素和为1。
假设有 n n n个随机变量，其 t t t和 t − 1 t-1 t−1时刻的转移矩阵分别为 P t P_{t} Pt和 P t + 1 P_{t+1} Pt+1，设 M = P t ⋅ P t + 1 M = P_{t} \cdot P_{t+1} M=Pt⋅Pt+1，计算 M M M第 i i i行第 j j j列的转移概率 M i , j M_{i,j} Mi,j
M i , j = ∑ k = 1 n ( P t ) i , k ( P t + 1 ) k , j = ∑ k = 1 n P ( X t + 1 = k ∣ X t = i ) P ( X t + 2 = j ∣ X t + 1 = k ) = P ( X t + 2 = j ∣ X t = i ) \begin{array}{l} M_{i,j} & =\sum_{k=1}^{n} \left( P_{t} \right)_{i,k} \left( P_{t+1} \right)_{k,j} \qquad \qquad \qquad \qquad \qquad \qquad \\ &= \sum_{k=1}^{n} \mathbb{P} \left( X_{t+1}=k | X_{t} = i \right) \mathbb{P} \left( X_{t+2}=j | X_{t+1} = k \right) \\ &= \mathbb{P} \left( X_{t+2}=j | X_{t} = i \right) \qquad \qquad \qquad \qquad \qquad \qquad \; \; \end{array} Mi,j=∑k=1n(Pt)i,k(Pt+1)k,j=∑k=1nP(Xt+1=k∣Xt=i)P(Xt+2=j∣Xt+1=k)=P(Xt+2=j∣Xt=i)
那么 P ( X t + 2 = j ∣ X t = i ) = ( P t ⋅ P t + 1 ) i , j \mathbb{P} \left( X_{t+2}=j | X_{t} = i \right) = \left( P_{t} \cdot P_{t+1} \right)_{i,j} P(Xt+2=j∣Xt=i)=(Pt⋅Pt+1)i,j，依次类推，第 k k k步的转移方程为 P t ( k ) = P t ⋅ P t + 1 ⋯ P t + k − 1 P_{t}^{\left(k\right)} = P_{t} \cdot P_{t+1} \cdots P_{t+k-1} Pt(k)=Pt⋅Pt+1⋯Pt+k−1。那么 P t ( k ) P_{t}^{\left(k\right)} Pt(k)的矩阵元素也可以表示如下：
例子
上述公式晦涩难懂，我们举一个小例子便于理解。下图描述的与时间无关的马尔科夫链，计算它的第二步转移矩阵？
如上所示，有两个变量 A A A和 B B B， A A A到 A A A的概率为 0.3 0.3 0.3， A A A到 B B B的概率为 0.7 0.7 0.7， B B B到 A A A的概率为 0.9 0.9 0.9， B B B到 B B B的概率为 0.1 0.1 0.1，那么它的初始转移矩阵为 ( 0.3 0.7 0.9 0.1 ) \begin{pmatrix} 0.3 & 0.7 \\ 0.9 & 0.1 \end{pmatrix} (0.30.90.70.1)
第二步时的转移矩阵计算如下所示，
初始状态为 A A A走两步到 A A A的概率为 0.72 0.72 0.72
初始状态为 A A A走两步到 B B B的概率为 0.28 0.28 0.28
初始状态为 B B B走两步到 A A A的概率为 0.36 0.36 0.36
初始状态为 B B B走两步到 B B B的概率为 0.64 0.64 0.64
应用实例
马尔可夫链在生活中被广泛应用，比如语音识别中的声学模型、天气的预测和股票价格的预测等等。与马尔可夫链最相关应用最广泛是隐马尔可夫模型（hidden Markov model，HMM），HMM是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可预测的状态随机序列，再由各个状态生成一个观测从而产生观测随机序列的过程。HMM的具体实现见我的博文隐马尔可夫模型。
参考
- Markov Chains