机器学习之【蒙特卡罗法】

一、蒙特卡罗法

蒙 特 卡 罗 法 (Monte Carlo method) , 也 称 为 统 计 模 拟 方 法(statistical simulation method),是通过从概率模型的随机抽样进行近似数值计算的方法。

蒙特卡罗法要解决的问题是,假设概率分布的定义己知,通过抽样获得概率分布的随机样本,并通过得到的随机样本对概率分布的特征进行分析。比如从样本得到经验分布,从而估计总体分布;或者从样本计算出样本均值,从而估计总体期望。

所以蒙特卡罗法的核心是随机抽样 (random sampling)。

二、随机抽样

• 蒙特卡罗法
  • 直接抽样法
  • 接受-拒绝抽样法
  • 重要性抽样法

• 接受-拒绝抽样法、重要性抽样法适合于概率密度函数复杂(如密度函数含有多个变量,各变量相互不独立,密度函数形式复杂),不能直接抽样的情况。

三、数学期望估计

• 一 般 的 蒙 特 卡 罗 法 可 以 用 于 数 学 期 望 估 计 ( estimation of mathematical expectation)。

四、积分计算

• 一般的蒙特卡罗法也可以用于定积分的近似计算,称为蒙特卡罗积分(Monte Carlo integration)


• 就是说,任何一个函数的积分都可以表示为某个函数的数学期望的形式,而函数的数学期望又可以通过函数的样本均值估计

• 于是,就可以利用样本均值来近似计算积分

五、示例

蒙特卡罗法是一种通过重复生成随机数来估计固定参数的方法,它用多次随机求平均的方法来逼近一个值,本质是用频率来估计概率。

六、接受-拒绝法

• 假设p(x)不可以直接抽样。找一个可以直接抽样的分布,称为建议分布 (proposal distribution)
• 假设q(x)是建议分布的概率密度函数,并且q(x)的c倍一定大于等于p(x),其中 c > 0,如图中所示


• 接受-拒绝法的优点是容易实现,缺点是效率可能不高
• 如果p(x)的涵盖体积占cq(x)的涵盖体积的比例很低,就会导致拒绝的比例很高,抽样效率很低。
• 注意,一般是在高维空间进行抽样,即使p(x)与cq(x)很接近,两者涵盖体积的差异也可能很大

七、示例