贝叶斯估计（概率密度函数的估计的参数方法）

接上一篇文章：最大似估计

贝叶斯估计：    参数估计   是最随机变量，根据观测数据对参数的分布进行估计，还要考虑先验分布

最大似然估计：  参数估计  是未知的，根据观测数据来估计  的值。

贝叶斯学习是把贝叶斯估计的原理应用于直接从数据对概率密度进行估计

开始我们今天的表演

一、贝叶斯估计

可以将概率密度函数参数估计问题看成是贝叶斯决策问题

                                                             

           贝叶斯决策问题有两类：（1）输入为离散变量：（用于分类）最优条件可以是最小错误率或者是最小风险    

                                                  （2）输入为连续变量： 所带来的损失   损失函数

在使用损失函数为最小平方误差损失函数的情况下，贝叶斯估计的步骤是：

（1）根据对问题的认识或者猜测确定的先验分布密度p();

（2）样本独立同分布，且已知样本密度形式，可以形式上求出样本集的联合分布  

（3）利用贝叶斯公式求的后验概率分布

（4）求贝叶斯的估计量        

注：

        我们本来的目的并不是要估计概率密度参数，而是估计样本的概率密度函数 （小x为样本，大X为样本集），就是所有可能的参数取值下的样本概率密度的加权平均，而这个加权就是在观测样本下估计出的参数的后验概率。那么决定分布形式的就是后验概率的分子的形式（分母的目的就是归一化，保证密度函数下的积分为1）。分子有两项，似然函数：反映在不同参数取值下观测的样本的可能性。先验概率：反映对参数分布的先验知识或主观猜测。

        一般情况下，似然函数会在其极大值  附近有一个尖峰，那么如果先验概率在最大似然估计处不为零且变化比较平缓，则参数的后验概率  就会集中在   附近。此时贝叶斯估计就与最大似然估计接近。

二、正态分布的贝叶斯

为什么选择正态分布？因为 为正态分布时先验分布密度p()也为正态分布。       

注：对于给定的概率密度函数模型，如果先验概率密度p()能够使参数的后验分布具有与 相同的形式，则这样的先验密度函数形式称作与概率模型共轭。     

公式。。。（好吧，我又懒了）

注：若遇到求积分不容易的情况，请查阅吉布斯采样。  

题外话：概率密度估计的非参数方法

       最大似然方法和贝叶斯方法都属于参数化的估计方法,要求待估计的概率密度函数形式已知,只是利用样本来估计函数中的某些参数。但是,在很多情况下,我们对样本的分布并没有充分的了解,无法事先给出密度函数的形式,而且有些样本分布的情况也很难用简单的函数来描述。在这种情况下,就需要非参数估计,即不对概率度函数的形式作任何假设,而是直接用样本估计出整个函数。当然,这种估计只能用数值方法取得,无法得到完美的封闭函数形式。从另外的角度来看,概率密度函数的参数估计实际是在指定的一类函数中选择一个函数作为对未知函数的估计,而非参数估计则可以看作是从所有可能的函数中进行的一种选择。

1、直方图方法

2、k近邻估计法

3、parzen窗法