贝叶斯参数估计与Gibbs Sampling

因为最近要弄懂贝叶斯参数估计在计量经济学中的应用，想把笔记写下来，当做是一个复习。内容主要是参考了一下文献：Applied Bayesian Econometrics for Central Bankers

我们先从最简单的OLS估计开始

原本的做法就是通过使误差平方和最小化来实现最优的参数估计

误差平方和

当然，其实我们也可以使用似然函数最大化的方法来得到我们要估计的参数。

对应的似然函数

那我们用这个似然函数来估计函数也是可以的。

那为什么要用贝叶斯方法来估计参数呢？传统的方法只能纯粹地从数据中获取信息。然而，贝叶斯方法不仅可以从数据中得到信息，而且可以加入先验信息。

我们先介绍一般怎么使用贝叶斯来估计参数的呢？
例如，现在我们要估计上边模型中B这个参数。

第一步：设置先验分本

我们可以假设B服从以下分布：

B的分布

至于B的分布类型选择与具体的参数选择，这个问题成为第二个重要问题。

第二步：找到似然函数

似然函数

第三步：根据信息，更新先验分布，得到后验分布

其实就是根据贝叶斯公式，求出后验分布。

贝叶斯公式

在进入到具体的求解推导之前，我们想来看看简化了的两种情况。

第一种情况，假设我们已经知道方差，只需要估计B的参数。
按照上面提到的三个步骤，我们一起来看看：
第一步：设置先验分布

写开之后

因为已知了方差，前部部分相当于是一个常数。

第二步：找到似然函数

第三步：得到后验分布

后验分布

两个正态的乘积还是正态分布

乘积之后的正态分布

经过整理之后

参数出来了，目标达成

我们知道

就可以改写

改写后的表达式

看到这个表达式之后，我们可以回答先验分布中的参数设置对估计有什么影响了。
当∑比较小的时候，会方法先验分布的影响。
当∑比价大的时候，说明减少先验分布的影响，更看重的时候数据带来的结果。

现在我们来看第二种情况：已经知道B，估计σ²这个参数。
因为σ²永远都是正的，而正态分布是有正有负，显然正态分布不适合用来作为σ²的先验分布。

我们这里采用的是Gamma分布，为什么要采用Gamma分布，这里涉及到一个共轭分布的问题。到后面再解释。

先来介绍一下Gamma分布：
假设有T个样本来自于以下分布。

正态分布

平方和

W就是服从自由度为T，尺度参数（scale parameter）为θ的Gamma分布了。感觉有点想卡方分布。

Gamma概率密度函数

Gamma分布的期望

到这里，我们可以重新使用三步曲

第一步：设置先验分布

这里是Gamma分布

为什么不直接设σ²，这样设是有原因的

第二步：寻找似然函数

似然函数

s

第三步：计算后验分布

想起来贝叶斯公式就好

相乘之后

整理得到

其中

参数

得到估计参数的期望

到这里我们可以解释为什么我需要用Gamma分布，因为贝叶斯估计，到最后要跟其他分布相乘的。Gamma分布有良好的性质：Gamma分布与正态分布相乘之后，还是服从Gamma分布，这种性质叫做共轭（conjugate）

前面两种情况都给我们现在要说的这种情况做铺垫的。就是B和σ²都未知的情况。

我们一起来看看，还是三步曲：

第一步：设置先验分布

将其转化成之前已经解决了问题

第二步：寻找似然函数

似然函数

第三步：计算后验分布

第三步

我们涉及到σ²，分布的计算就没有那么简单了。
这个是一个常规的路径，然而运用这个常规路径的时候，我们往就会算不下去了。
我们最终的目的是有得到下面两个条件分布。即使我们得到上述的联合概率，很有可能也会积分难以计算的问题。

和

有了这两个边缘分布（marginal distribution）我们就可以估计参数了。

基于上述说到的困难，我们可以模拟的方法来估计这两个分布。
这就引出我们要讲的Gibbs Sampling的方法了！！