基于贝叶斯估计的概率公式推导

统计学习方法第四章贝叶斯估计题

参考1：https://blog.csdn.net/bumingqiu/article/details/73397812

参考2：https://blog.csdn.net/bitcarmanlee/article/details/82156281

---

 

一、第一个公式：

其中，为第种类别，共有种；为样本数目；

证：

设，且服从参数为的Dirichlet分布（先验分布），则有概率质量函数（即离散变量的概率密度函数）如下：

;

（2）式可改写成：

设为各类别的观测数，有：

则根据观测数据对先验分布改进如下：

其中，，又是与无关的量，故（5）式可写为：

设服从多项分布，则有：

(7)式可改写成：

将(3)式和(8)式带入(6)式，可得：

因此得出结论，的后验概率服从参数为的Dirichlet分布：

故的期望有(Dirichlet分布期望公式):

即有：

故原式得证。

---

二、第二个公式

其中，表示第个样本的第维特征值，表示第维特征可取值个数,表示特征维数，表示类别数，为样本数；

证明:

参考第一个公式的证明，设：

，且服从参数为的Dirichlet分布（先验分布），则有概率质量函数（即离散变量的概率密度函数）如下：

 

(2)是可改写为：

设为第维度种特征值的观测数，有：

根据观测数据对(3)式进行改进如下：

其中，，又是与无关的量，故（5）式可写为：

设服从多项分布，则有：

(7)式可改写为：

将(3)式和(8)式带入(6)式，则有：

因此得出结论，的后验概率服从参数为的Dirichlet分布：

故的期望有(Dirichlet分布期望公式):

即有：

于是，原式得证。