MCMC(马尔科夫蒙特卡洛)——qjzcy的博客

MCMC(马尔科夫蒙特卡洛)
导读:
一、 开开脑洞
二、 平稳细致条件
三、Deepleaning中的一个应用:Dropout
四、 吉布斯抽样

————————————————————————

我特别喜欢这个算法,常常让我脑洞大开。在这里胡扯一下,大家见笑
这个算法大致的描述为:无论初始状态如何,经过有限的迭代后,会趋于稳定,稳定后的状态分布只和转换矩阵相关。
这里面有三个重点:
1、 和初始状态无关
2、 满足条件,就一定会趋于稳定
3、 稳定后的状态分布只和转换矩阵相关

(一)开开脑洞

好下面根据上面的几个条件我开一下脑洞,不保证正确,仅仅是脑洞
一、 地球上的物种一定会进化出文明
为什么这么说呢,拿刚刚的那三个条件来说
1、和初始状态无关,也就是说无论一开始进化出什么物种,只要转换条件是一样的,那么结局是一样的,地球上会有文明
2、像彗星撞地球,物种灭绝这样的事情,在进化史上不是灾难,而恰恰是促成进化的必要条件。因为在MCMC算法的第二个条件,满足一定条件就包含着随机选择(后面我们会聊这个随机选择)
3、既然我们现在进化出了文明,那么在另一个平行世界里,即使人类被灭绝了,地球一样会有其他的文明产生。(那么问题来了,这是不是说明外星人一定存在?)

二、 再开一个脑洞,文明一定是向前发展的(或者说在达到某个巅峰前,地球上的文明总是会向前发展的),历史的长河中经常遇到这样的事情,文明社会被不文明打败:比如掌握了火的文明部落一个流感就被什么都不会的部落打败,野蛮人入侵,中世纪黑暗统治,核世界大战爆发。好像我们的文明就在一个钢丝上行走,能发展到现在纯粹靠运气。
好,又是刚才那三个条件
1、 和初始状态无关,无论文明开始怎样
2、 随机事件只是转换的条件之一
3、 最终文明能发展到的程度和初始以及中间状态都没有关系,它一定会发展到它预定的稳定状态(也就是文明一定会向前,发展到一个我们还没有见到的巅峰)

三、 物种进化中,不一定是优胜劣汰, 还必须要有随机淘汰是
达尔文的进化论中说,物种总是优胜劣汰。其实我觉得还要加上一条,概率淘汰
再回到刚刚三个条件
1、 物种进化的初始状态不重要
2、 进化的过程中需要一定概率随机选择,(好像是个很显然的问题,不随机选择的化,很容易陷入局部最优嘛。)
3、 进化的最终状态只和转换矩阵相关(这里的转换矩阵也可以理解为环境变量)


(二)
胡扯了这么多,是不是感觉这个算法很神奇?那我们来看看这个算法
首先这个算法的名字是由两个名字组合而来的,马尔科夫+蒙特卡洛。这两个人就不掰扯了,大名鼎鼎,有兴趣的搜一下吧。
前面我们说的满足一定条件指:
定理:[细致平稳条件] 如果非周期马氏链的转移矩阵P和分布π(x) 满足 π(i)Pij=π(j)Pji for all i,j 则 π(x) 是马氏链的平稳分布,上式被称为细致平稳条件(detailed balance condition)。

这个定理强调了两个内容
1、对于任何两个状态i,j 可以从i转换到j,也可以从j转换到i
2、在两者的转换过程中没有损失
即:p(i)q(i,j)=p(j)q(j,i)

但是一般情况下,我们在马尔科夫链中这两个状态转换间并不相等
p(i)q(i,j)≠p(j)q(j,i)
也就是细致平稳条件不成立,怎么办呢?
那么我们希望对马氏链做一个改造,使得细致平稳条件成立,譬如,我们引入一个 α(i,j), 我们希望两边都乘以这个函数后会相等即:
p(i)q(i,j)α(i,j)=p(j)q(j,i)α(j,i) (1)
显然我们让
α(i,j)=p(j)q(j,i),α(j,i)=p(i)q(i,j)
原式(1)变为p(i)q(i,j)*p(j)q(j,i)=p(j)q(j,i)*p(i)q(i,j) 显然是可以相等
我们把α(i,j)称为接受率,物理意义可以理解为在原来的马氏链上,从状态 i 以q(i,j) 的概率转跳转到状态j 的时候,我们以α(i,j)的概率接受这个转移。
把以上的过程整理一下,我们就得到了如下的用于采样概率分布p(x)的算法
MCMC(马尔科夫蒙特卡洛)——qjzcy的博客_第1张图片

以上的 MCMC 采样算法已经能很漂亮的工作了,不过它有一个小的问题,收敛到平稳分布p(x)的速度太慢。有没有办法提升一些接受率呢?
假设 α(i,j)=0.1,α(j,i)=0.2, 此时满足细致平稳条件,于是
p(i)q(i,j)×0.1=p(j)q(j,i)×0.2

上式两边扩大5倍,我们改写为
p(i)q(i,j)×0.5=p(j)q(j,i)×1

看,我们提高了接受率,而细致平稳条件并没有打破!这启发我们可以把细致平稳条件(**) 式中的α(i,j),α(j,i) 同比例放大,使得两数中最大的一个放大到1,这样我们就提高了采样中的跳转接受率。所以我们可以取
α(i,j)=min{p(j)q(j,i)p(i)q(i,j),1}
于是,经过对上述MCMC 采样算法中接受率的微小改造,我们就得到了如下教科书中最常见的 Metropolis-Hastings 算法。
MCMC(马尔科夫蒙特卡洛)——qjzcy的博客_第2张图片
有没有觉得好熟悉,原来我一直很疑惑,好容易得到的值,为啥还要乘以一个随机概率,一下在这里有了答案。

(三)Deepleaning中的一个应用:Dropout
在深度学习的模型中我们会遇到这样一步:Dropout,把之前训练好的权值更新以一定概率丢弃掉一部分。了解了mcmc是不是对这个方法就有了更深的理解。比如丢弃的概率越大越好吗?在什么地方我们还可以用到概率选择等等。
贴一段代码,引自网上这个博客,
http://www.cnblogs.com/tornadomeet/p/3258122.html

%% //导入minst数据并归一化
load mnist_uint8;
train_x = double(train_x(1:2000,:)) / 255;
test_x  = double(test_x(1:1000,:))  / 255;
train_y = double(train_y(1:2000,:));
test_y  = double(test_y(1:1000,:));
% //normalize
[train_x, mu, sigma] = zscore(train_x);% //归一化train_x,其中mu是个行向量,mu是个列向量
test_x = normalize(test_x, mu, sigma);% //在线测试时,归一化用的是训练样本的均值和方差,需要特别注意

%% //without dropout
rng(0);
nn = nnsetup([784 100 10]);% //初步构造了一个输入-隐含-输出层网络,其中包括了
                           % //权值的初始化,学习率,momentum,激发函数类型,
                           % //惩罚系数,dropout等
opts.numepochs =  20;   %  //Number of full sweeps through data
opts.batchsize = 100;  %  //Take a mean gradient step over this many samples
[nn, L] = nntrain(nn, train_x, train_y, opts);
[er, bad] = nntest(nn, test_x, test_y);
str = sprintf('testing error rate is: %f',er);
disp(str)

%% //with dropout
rng(0);
nn = nnsetup([784 100 10]);
nn.dropoutFraction = 0.5;   %  //Dropout fraction,每一次mini-batch样本输入训练时,随机扔掉50%的隐含层节点
opts.numepochs =  20;        %  //Number of full sweeps through data
opts.batchsize = 100;       %  //Take a mean gradient step over this many samples
nn = nntrain(nn, train_x, train_y, opts);
[er, bad] = nntest(nn, test_x, test_y);
str = sprintf('testing error rate is: %f',er);
disp(str)

实验结果:

  没用Dropout时:

  训练样本错误率(均方误差):0.032355

  测试样本错误率:15.500%

  使用Dropout时:

  训练样本错误率(均方误差):0.075819

  测试样本错误率:13.000%

  可以看出使用Dropout后,虽然训练样本的错误率较高,但是训练样本的错误率降低了,说明Dropout的泛化能力不错,可以防止过拟合。

(四)吉布斯抽样
那么我们说吉布斯抽样是mcmc算法的一个特例,为什么这么说呢先挖个坑吧,慢慢填
————————————————————
引用:
http://www.52nlp.cn/lda-math-mcmc-%E5%92%8C-gibbs-sampling2
http://www.cnblogs.com/tornadomeet/p/3258122.html

你可能感兴趣的:(自然语言处理,机器学习)