贝叶斯模型与M-H采样

多次采样的直观理解

相信这个词大家都不太陌生，而像现在的拒绝采样，蒙特卡洛采样，MCMC都是基于多次采样而来的。
比方说我们最熟悉的钟形曲线，就是通过多次采样累积而成的

其中每一个小球代表一次取样，小球的高度即代表数量的大小，那么多次抽样后即可拟合出这种钟形曲线

贝叶斯定理

贝叶斯定理是关于随机事件A和B的条件概率(或边缘概率)的一则定理。其中P(A|B)是在B发生的情况下A发生的可能性。那么人们根据不确定性信息作出推理和决策需要对各种结论的概率作出估计，这类推理称为概率推理。贝叶斯定理可以表示为：

来自百度

对于离散变量，贝叶斯定理最大的作用是通过先验概率和条件概率来计算后验概率。

贝叶斯因子

贝叶斯因子解释起来即为面对同一套观测值（数据），利用哪一个参数的概率更大

贝叶斯模型中的关系

对于连续型随机变量来说，利用分布密度函数来表示贝叶斯模型如下：

显然，根据公式，由于：

因为p(X)与θ无关，所以p(θ | X)∝p(X | θ)p(θ)

其中:

1. p(X)称为先验分布
2. p(X | θ)称为似然函数
3. p(θ | X)称为后验分布

贝叶斯理论与M-H采样

在实际的生产生活中，积分：

并不是很好计算，尤其涉及到参数θ很多的时候，牵扯到高维积分，就更加不容易计算了。因此，由于这种正比关系的存在，后验分布的形状与先验分布和似然函数的乘积所构成的分布函数形状相似。所以我们可以从先验分布和似然函数的乘积所构成的分布函数里面进行采样，从而估计后验分布的参数。
M-H算法：

利用贝叶斯模型的思想，结合M-H采样，我们可以构造出M-H采样的判别条件：

因此，我们的随机变量序列{θ}~p(X | θ)p(θ)，并从该分布取样θ值来拟合后验分布p(θ | X)，当新θ值带来的似然值比旧θ值的似然值大时（贝叶斯因子），我们采样新θ值。
经过若干次取样后，我们就知道后验分布，当参数θ取多少时，后验分布的似然值最大，这样便得到了最佳的参数θ值了。

当比较后验分布的参数时，我们可以利用贝叶斯因子来比较：

当分母大于分子时，下面参数的后验分布大于上面的；当分母小于分子时，下面参数的后验分布小于上面的

M-H算法估计参数

M-H算法还有另外一个功能就是估计参数，接着上面的例子，由于 p(θ | X)∝p(X | θ)p(θ) ，那么我在 p(X | θ)p(θ) 中多次采样，如果收敛，必然出现下面这种情况。

θ值多次重复出现对应的那个值为θ的期望，我们用它表示概率分布的参数，即似然值最大时对应的自变量θ值。

参考：
https://wenku.baidu.com/view/10b7fbf1a6c30c2258019e99.html

https://www.jiqizhixin.com/articles/2017-12-24-6

https://zhuanlan.zhihu.com/p/31844817