数学漫步——贝叶斯估计思想

统计学中有两个大的学派：频率学派(也称经典学派)，和贝叶斯学派
总所周知统计推断是根据样本信息对总体分布或者是总体特征数进行推断，经典学派和贝叶斯学派就是通过统计推断的不同方式划分的，经典学派的统计推断是依据样本信息 和总体信息来进行推断，而贝叶斯学派认为除了依据以上两种信息来进行推断以外还可以应该加上先验信息来进行统计推断。

样本信息：
样本信息即抽取样本观测其值所得到的信息，譬如在等到一组样本值之后可以计算出其样本均值和样本方差，可以大致知道总体的一些特征数，这是最'新鲜'的信息，并且多多益善，我们希望用样本信息来对总体特征进行推断，样本信息越多我们推断总体也就越是准确，可以这么说没有样本信息就没有统计推断可言

总体信息：
总体信息即总体分布或者总体分布族所提供的信息，譬如如果知道了总体是一个正态分布，那么我们可以知道总体的一切矩是存在的而且其密度函数是关于均值对称的，总体信息是很重要的，许多国家或者企业甚至耗费巨资来获取这种信息，因为如果知道某个随机变量服从某个分布就可以根据这个分布来进行统计推断，如果是我们已经熟悉的一些分布则有很多成熟的推断方式可供我们使用。

先验信息：
如果把抽取样本看做是一次随机试验，那么样本信息就是试验中得到的信息，但是往往我们在研究某些问题之前总要对研究的问题有所了解，这种了解包括经验上的了解即过去是否存在过同样的问题或者是关于同样问题的一些历史样本，这研究问题之前就能够了解到的信息就叫做先验信息，贝叶斯学派认为'历史经验'也能够在一定程度上面帮助我们进行统计推断。

贝叶斯学派与经典学派最大的不同之处在于其认为统计推断过程具有一种连续性，也即用历史的眼光看待问题，用发展的角度看待问题，他们认为过去的事情与现在的事情是有联系的或者是过去的样本与现在的样本是有联系的，能够运用历史经验来修正经典学派基于现有经验的统计推断。

贝叶斯学派的基本观点是：任一未知统计量都可以看做一个随机变量也即我们需要推断的总体的某个特征服从某个分布，这也就是说我们可以根据先验信息建立一个服从的分布，这样做的目的就在于合理的利用先验信息来进行统计推断

贝叶斯学派和经典学派在历史上争论了很久，如今经典学派已经基本上接受也贝叶斯学派的观点，现在这两派已经合流其争论的焦点在于如何利用各种先验信息来合理的进行统计推断。

贝叶斯公式的推到及其密度函数形式：

下面先介绍一些贝叶斯学想派的具体想法
在经典统计学中认为总体依赖与参数其密度函数记为，经典学派认为某个随机变量服从的分布中的参数是固定不变的，即认为参数 不是一个随机变量，而贝叶斯学派认为是一个随机变量也即总体的密度函数是依赖于的变化的他们将概率密度记为，实际上大家仔细思考一下这个是不是变化的，譬如某个工厂加工某种元件其生产机器随着时间的推移肯定性能上面是有所变化的所以工厂生产元件的合格品率也是在变化的如果我们将元件的合格率记为的话，也即是具有随机性的，因此贝叶斯学派的观点也是有事实依据的。

贝叶斯学派认为可以依据参数的先验信息来确定参数的先验分布

从贝叶斯学派的观点来看样本的产生要分成两步走首先设想从先验分布中产生一个样本这一步是玉帝老儿他老人家决定的，然后在的条件下产生一组样本这时候的联合概率密度为

这个分布综合了总体信息和样本信息.即有样本信息和总体信息概率密度

由于是假想出来的在实际情况下式不得而知有先验分布所决定的为了把先验信息综合进去，不能只考虑,而应该考虑所有可能的取值即将先验分布考虑进去，如何考虑进去嘞？这个简单我们写出样本和参数的联合分布不就可以了吗？记其联合分布如下：

这个联合分布将样本信息，总体信息，先验信息三种可用信息综合起来了

我们的目的是要对参数做统计推断，在没有样本信息的时候我们只能根据先验分布来对进行推断，但是有了样本信息观测值之后我们应该依据来对做出推断.为了方便进行推断依据条件概率公式将分解如下：

其中是的边际密度函数：
根据

这个与参数无关，不包含的任何信息，因此能用来对做出统计推断的仅仅是条件分布联立式变形可得他的计算公式是：

我们在求的时候一般是先求出联合概率密度然后对其对积分求出的边际密度之后两者相除即可

贝叶斯估计：

用后验分布估计参数的值常常用一下三种方法

• 使用后验分布的密度函数最大值点作为的点估计的最大后验估计
• 使用后验分布的中位数作为的点估计的后验中位数估计
• 使用后验分布的均值作为的点估计的后验期望估计

总结：

从贝叶斯公式可以看出，整个贝叶斯统计推断只要先验分布确定之后就没有理论上的困难，也从中可以看出贝叶斯学派的观点认为参数是一个随机变量是从一个分布中抽出的样本，即会影响样本的取值从而我们只要知道了也就可以根据及其后验分布来对进行统计推断，这种推断是在样本的情况下对对推断的一个修正.

注意：

贝叶斯估计与最大似然估计是两种截然不同的推断，前者属于贝叶斯学派结合了样本信息，总体信息，先验信息而最大似然估计只是结合了样本信息和总体信息, 在有些情况下贝叶斯估计要优于最大似然估计这个在这里不做过多叙述，感兴趣的自己去查阅资料。