统计学习方法读书笔记（十九）-马尔科夫链蒙特卡洛方法

全部笔记的汇总贴：统计学习方法读书笔记汇总贴

PDF免费下载：《统计学习方法（第二版）》

这个可以先看看，有视频，讲的还挺细：白板推导系列笔记（十三）-马尔科夫链蒙特卡洛方法

蒙特卡罗法（Monte Carlo method ），也称为统计模拟方法（ statistical simulation method ），是通过从概率模型的随机抽样进行近似数值计算的方法。

马尔可夫链蒙特卡罗法（Markov Chain Monte Carlo, MCMC），则是以马尔可夫链（Markov chain）为概率模型的蒙特卡罗法。 马尔可夫链蒙特卡罗法构建一个马尔可夫链，使其平稳分布就是要进行抽样的分布，首先基于该马尔可夫链进行随机游走，产生样本的序列，之后使用该平稳分布的样本进行近似数值计算。

一、蒙特卡洛法

（一）随机抽样

一般的蒙特卡罗法有直接抽样法、接受－拒绝抽样法、重要性抽样法等。接受－拒绝抽样法、重要性抽样法适合于概率密度函数复杂（如密度函数含有多个变量，各变量相互不独立，密度函数形式复杂），不能直接抽样的情况。

（二）数字期望估计

（三）积分计算

二、马尔可夫链

三、马尔科夫链蒙特卡洛法

四、Metropolis-Hastings算法

输入：抽样的目标分布的密度函数$p(x)$，函数$f(x)$

五、吉布斯抽样