深度学习基础（七）—— Gibbs 采样

仅知道概率密度是不狗的，需要的是样本，gibbs sampling 就是获取样本的。

Gibbs 抽样是一种基于 MCMC（Markov Chain Monte Carlo）策略的抽样方法，具体来说对于一个 d 维的随机向量 X=(x1,x2,…,xd) ，但是我们无法直接求出 X 的概率分布 p(X) ，但我们知道给定的 X 的其他分量关于第 i 个分量 xi 的条件分布，即 p(xi|xi−),xi−=(x1,x2,…,xi−1,xi+1,xd) 。那么，我们可以从 x 的任意状态，如 (x1(0),x2(0),…,xd(0)) 开始，利用条件分布 p(xi|xi−) ，迭代地对这状态的每个分量进行抽样。随着抽样次数的增加，随机变量 (x1(n),x2(n),…,xd(n)) 的概率分布将以 n 的几何级数的速度收敛于 x 的联合概率分布 p(x) 。

例如，一个样本是 3 维的，姑且设为 (g,u,b) ，一般来说，我们无法直接获得样本的分布，但我们知道条件概率 p(g|u,b) 、 p(u|g,b) 、 p(b|g,u) ：

• （1）给 (g,u,b) 赋初值， (g0,u0,b0) ，
• （2）利用 p(g|u0,b0) 计算 g1
• （3）利用 p(u|g1,b0) ，计算 u1
• （4）利用 p(b|g1,u1) ，计算 b1
• （5）重复 （2）-（4），这样我们就得到一个 Markov Chain {(g0,u0,b0),(g1,u1,b1),…,(gt,ut,bt)}