马尔科夫链MCMC采样算法和LDA Gibbs Sampling
本文转载统计之都上的一篇关于lda gibbs采样算法的介绍
http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/
马氏链及其平稳分布
马氏链的数学定义很简单
也就是状态转移的概率只依赖于前一个状态。
我们先来看马氏链的一个具体的例子。社会学家经常把人按其经济状况分成3类：下层(lower-class)、中层(middle-class)、上层(upper-class)，我们用1,2,3 分别代表这三个阶层。社会学家们发现决定一个人的收入阶层的最重要的因素就是其父母的收入阶层。如果一个人的收入属于下层类别，那么他的孩子属于下层收入的概率是 0.65, 属于中层收入的概率是 0.28, 属于上层收入的概率是 0.07。事实上，从父代到子代，收入阶层的变化的转移概率如下
使用矩阵的表示方式，转移概率矩阵记为
假设当前这一代人处在下层、中层、上层的人的比例是概率分布向量 π0=[π0(1),π0(2),π0(3)] ，那么他们的子女的分布比例将是 π1=π0P , 他们的孙子代的分布比例将是 π2=π1P=π0P2 , ……, 第 n 代子孙的收入分布比例将是 πn=πn−1P=π0Pn 。
假设初始概率分布为 π0=[0.21,0.68,0.11] ，则我们可以计算前 n 代人的分布状况如下
我们发现从第7代人开始，这个分布就稳定不变了，这个是偶然的吗？我们换一个初始概率分布 π0=[0.75,0.15,0.1] 试试看，继续计算前 n 代人的分布状况如下
我们发现，到第9代人的时候, 分布又收敛了。最为奇特的是，两次给定不同的初始概率分布，最终都收敛到概率分布 π=[0.286,0.489,0.225] ，也就是说收敛的行为和初始概率分布 π0 无关。这说明这个收敛行为主要是由概率转移矩阵 P 决定的。我们计算一下 Pn
我们发现，当 n 足够大的时候，这个 Pn 矩阵的每一行都是稳定地收敛到 π=[0.286,0.489,0.225] 这个概率分布。自然的，这个收敛现象并非是我们这个马氏链独有的，而是绝大多数马氏链的共同行为，关于马氏链的收敛我们有如下漂亮的定理：
马氏链定理： 如果一个非周期马氏链具有转移概率矩阵 P ,且它的任何两个状态是连通的，那么 limn→∞Pnij 存在且与 i 无关，记 limn→∞Pnij=π(j) , 我们有
- limn→∞Pn=⎡⎣⎢⎢⎢⎢⎢⎢π(1)π(1)⋯π(1)⋯π(2)π(2)⋯π(2)⋯⋯⋯⋯⋯⋯π(j)π(j)⋯π(j)⋯⋯⋯⋯⋯⋯⎤⎦⎥⎥⎥⎥⎥⎥
- π(j)=∑i=0∞π(i)Pij
- π 是方程 πP=π 的唯一非负解
其中,
π 称为马氏链的平稳分布。
这个马氏链的收敛定理非常重要，所有的 MCMC(Markov Chain Monte Carlo) 方法都是以这个定理作为理论基础的。 定理的证明相对复杂，一般的随机过程课本中也不给证明，所以我们就不用纠结它的证明了，直接用这个定理的结论就好了。我们对这个定理的内容做一些解释说明：
- 该定理中马氏链的状态不要求有限，可以是有无穷多个的；
- 定理中的“非周期“这个概念我们不打算解释了，因为我们遇到的绝大多数马氏链都是非周期的；
- 两个状态 i,j 是连通并非指 i 可以直接一步转移到 j ( Pij>0 ),而是指 i 可以通过有限的 n 步转移到达 j ( Pnij>0 )。马氏链的任何两个状态是连通的含义是指存在一个 n , 使得矩阵 Pn 中的任何一个元素的数值都大于零。
- 我们用 Xi 表示在马氏链上跳转第 i 步后所处的状态，如果 limn→∞Pnij=π(j) 存在，很容易证明以上定理的第二个结论。由于
P(Xn+1=j)=∑i=0∞P(Xn=i)P(Xn+1=j|Xn=i)=∑i=0∞P(Xn=i)Pij
上式两边取极限就得到 π(j)=∑i=0∞π(i)Pij
从初始概率分布 π0 出发，我们在马氏链上做状态转移，记 Xi 的概率分布为 πi , 则有
由马氏链收敛的定理, 概率分布 πi(x) 将收敛到平稳分布 π(x) 。假设到第 n 步的时候马氏链收敛，则有
所以 Xn,Xn+1,Xn+2,⋯∼π(x) 都是同分布的随机变量，当然他们并不独立。如果我们从一个具体的初始状态 x0 开始,沿着马氏链按照概率转移矩阵做跳转，那么我们得到一个转移序列 x0,x1,x2,⋯xn,xn+1⋯, 由于马氏链的收敛行为， xn,xn+1,⋯ 都将是平稳分布 π(x) 的样本。
3.3 Markov Chain Monte Carlo
对于给定的概率分布 p(x) ,我们希望能有便捷的方式生成它对应的样本。由于马氏链能收敛到平稳分布， 于是一个很的漂亮想法是：如果我们能构造一个转移矩阵为 P 的马氏链，使得该马氏链的平稳分布恰好是 p(x) , 那么我们从任何一个初始状态 x0 出发沿着马氏链转移, 得到一个转移序列 x0,x1,x2,⋯xn,xn+1⋯, ， 如果马氏链在第 n 步已经收敛了，于是我们就得到了 π(x) 的样本 xn,xn+1⋯ 。
这个绝妙的想法在1953年被 Metropolis想到了，为了研究粒子系统的平稳性质， Metropolis 考虑了物理学中常见的波尔兹曼分布的采样问题，首次提出了基于马氏链的蒙特卡罗方法，即Metropolis算法，并在最早的计算机上编程实现。Metropolis 算法是首个普适的采样方法，并启发了一系列 MCMC方法，所以人们把它视为随机模拟技术腾飞的起点。 Metropolis的这篇论文被收录在《统计学中的重大突破》中， Metropolis算法也被遴选为二十世纪的十个最重要的算法之一。
我们接下来介绍的MCMC 算法是 Metropolis 算法的一个改进变种，即常用的 Metropolis-Hastings 算法。由上一节的例子和定理我们看到了，马氏链的收敛性质主要由转移矩阵 P 决定, 所以基于马氏链做采样的关键问题是如何构造转移矩阵 P ,使得平稳分布恰好是我们要的分布 p(x) 。如何能做到这一点呢？我们主要使用如下的定理。
定理：[细致平稳条件] 如果非周期马氏链的转移矩阵 P 和分布 π(x) 满足
则 π(x) 是马氏链的平稳分布，上式被称为细致平稳条件(detailed balance condition)。
其实这个定理是显而易见的，因为细致平稳条件的物理含义就是对于任何两个状态 i,j , 从 i 转移出去到 j 而丢失的概率质量，恰好会被从 j 转移回 i 的概率质量补充回来，所以状态 i 上的概率质量 π(i) 是稳定的，从而 π(x) 是马氏链的平稳分布。数学上的证明也很简单，由细致平稳条件可得
由于 π 是方程 πP=π 的解，所以 π 是平稳分布。
假设我们已经有一个转移矩阵为 Q 马氏链( q(i,j) 表示从状态 i 转移到状态 j 的概率，也可以写为 q(j|i) 或者 q(i→j) ), 显然，通常情况下
取什么样的 α(i,j) 以上等式能成立呢？最简单的，按照对称性，我们可以取
于是(*)式就成立了。所以有
于是我们把原来具有转移矩阵 Q 的一个很普通的马氏链，改造为了具有转移矩阵 Q′ 的马氏链，而 Q′ 恰好满足细致平稳条件，由此马氏链 Q′ 的平稳分布就是 p(x) ！
在改造 Q 的过程中引入的 α(i,j) 称为接受率，物理意义可以理解为在原来的马氏链上，从状态 i 以 q(i,j) 的概率转跳转到状态 j 的时候，我们以 α(i,j) 的概率接受这个转移，于是得到新的马氏链 Q′ 的转移概率为 q(i,j)α(i,j) 。
马氏链转移和接受概率
假设我们已经有一个转移矩阵Q(对应元素为 q(i,j) ), 把以上的过程整理一下，我们就得到了如下的用于采样概率分布 p(x) 的算法。
上述过程中 p(x),q(x|y) 说的都是离散的情形，事实上即便这两个分布是连续的，以上算法仍然是有效，于是就得到更一般的连续概率分布 p(x) 的采样算法，而 q(x|y) 就是任意一个连续二元概率分布对应的条件分布。
以上的 MCMC 采样算法已经能很漂亮的工作了，不过它有一个小的问题：马氏链 Q 在转移的过程中的接受率 α(i,j) 可能偏小，这样采样过程中马氏链容易原地踏步，拒绝大量的跳转，这使得马氏链遍历所有的状态空间要花费太长的时间，收敛到平稳分布 p(x) 的速度太慢。有没有办法提升一些接受率呢?
假设 α(i,j)=0.1,α(j,i)=0.2 , 此时满足细致平稳条件，于是
上式两边扩大5倍，我们改写为
看，我们提高了接受率，而细致平稳条件并没有打破！这启发我们可以把细致平稳条件(**) 式中的 α(i,j),α(j,i) 同比例放大，使得两数中最大的一个放大到1，这样我们就提高了采样中的跳转接受率。所以我们可以取
于是，经过对上述MCMC 采样算法中接受率的微小改造，我们就得到了如下教科书中最常见的 Metropolis-Hastings 算法。
对于分布 p(x) ,我们构造转移矩阵 Q′ 使其满足细致平稳条件
此处 x 并不要求是一维的，对于高维空间的 p(x) ，如果满足细致平稳条件
那么以上的 Metropolis-Hastings 算法一样有效。
3.2 Gibbs Sampling
对于高维的情形，由于接受率 α 的存在(通常 α<1 ), 以上 Metropolis-Hastings 算法的效率不够高。能否找到一个转移矩阵Q使得接受率 α=1 呢？我们先看看二维的情形，假设有一个概率分布 p(x,y) , 考察 x 坐标相同的两个点 A(x1,y1),B(x1,y2) ，我们发现
所以得到
即
基于以上等式，我们发现，在 x=x1 这条平行于 y 轴的直线上，如果使用条件分布 p(y|x1) 做为任何两个点之间的转移概率，那么任何两个点之间的转移满足细致平稳条件。同样的，如果我们在 y=y1 这条直线上任意取两个点 A(x1,y1),C(x2,y1) ,也有如下等式
平面上马氏链转移矩阵的构造
于是我们可以如下构造平面上任意两点之间的转移概率矩阵Q
有了如上的转移矩阵 Q, 我们很容易验证对平面上任意两点 X,Y , 满足细致平稳条件
于是这个二维空间上的马氏链将收敛到平稳分布 p(x,y) 。而这个算法就称为 Gibbs Sampling 算法,是 Stuart Geman 和Donald Geman 这两兄弟于1984年提出来的，之所以叫做Gibbs Sampling 是因为他们研究了Gibbs random field, 这个算法在现代贝叶斯分析中占据重要位置。
Gibbs Sampling 算法中的马氏链转移
以上采样过程中，如图所示，马氏链的转移只是轮换的沿着坐标轴 x 轴和 y 轴做转移，于是得到样本 (x0,y0),(x0,y1),(x1,y1),(x1,y2),(x2,y2),⋯ 马氏链收敛后，最终得到的样本就是 p(x,y) 的样本，而收敛之前的阶段称为 burn-in period。额外说明一下，我们看到教科书上的 Gibbs Sampling 算法大都是坐标轴轮换采样的，但是这其实是不强制要求的。最一般的情形可以是，在 t 时刻，可以在 x 轴和 y 轴之间随机的选一个坐标轴，然后按条件概率做转移，马氏链也是一样收敛的。轮换两个坐标轴只是一种方便的形式。
以上的过程我们很容易推广到高维的情形，对于(***) 式，如果 x1 变为多维情形 x1 ，可以看出推导过程不变，所以细致平稳条件同样是成立的
此时转移矩阵 Q 由条件分布 p(y|x1) 定义。上式只是说明了一根坐标轴的情形，和二维情形类似，很容易验证对所有坐标轴都有类似的结论。所以 n 维空间中对于概率分布 p(x1,x2,⋯,xn) 可以如下定义转移矩阵
- 如果当前状态为 (x1,x2,⋯,xn) ，马氏链转移的过程中，只能沿着坐标轴做转移。沿着 xi 这根坐标轴做转移的时候，转移概率由条件概率 p(xi|x1,⋯,xi−1,xi+1,⋯,xn) 定义；
- 其它无法沿着单根坐标轴进行的跳转，转移概率都设置为 0。
于是我们可以把Gibbs Smapling 算法从采样二维的 p(x,y) 推广到采样 n 维的 p(x1,x2,⋯,xn)
以上算法收敛后，得到的就是概率分布 p(x1,x2,⋯,xn) 的样本，当然这些样本并不独立，但是我们此处要求的是采样得到的样本符合给定的概率分布，并不要求独立。同样的，在以上算法中，坐标轴轮换采样不是必须的，可以在坐标轴轮换中引入随机性，这时候转移矩阵 Q 中任何两个点的转移概率中就会包含坐标轴选择的概率，而在通常的 Gibbs Sampling 算法中，坐标轴轮换是一个确定性的过程，也就是在给定时刻 t ，在一根固定的坐标轴上转移的概率是1。