《PRML》学习笔记2.1——伯努利分布、二项分布和Beta分布，从贝叶斯观点出发

1.伯努利分布和二项分布

    对于伯努利分布，我们是十分熟悉的，从小学开始，老师就教会我们如何对掷硬币这件事进行数据建模：对于一个二元随机变量，表示掷硬币结果为正面朝上，表示反面朝上。根据常识，我们都认为两种情况概率各为0.5。那么，如果遇到一个破损的硬币，将的概率记作参数，因此：

                                                                                                                                                                     (1)

    其中，同理可知。这种分布(伯努利分布)的概率分布可以写成：

                                                                                                                                                   (2)

    对于伯努利分布，满足：

                                                                                                                                                                                   (3)

                                                                                                                                                             (4)

    假设有一个数据集，变量彼此都是独立同分布的，那么得到的似然函数为：

                                                                                                          (5)

    为了方便计算，将公式(5)取对数转化成对数似然函数：

                                                                      (6)

    求解对数似然函数关于的导数：

                                                                             (7)

    令导数为0，得到的最大值： 

                                                                                                                                                                                (8)

    其中，m是这个变量中变量值为1的数量。

    上述将似然函数最大化来求解参数的思想来源于传统概率学家的观点，他们认为，参数是一个固定的值，而使得观测集合中的似然函数最大的参数值，便是最合理的参数。直观上理解，这是很有道理的，但是，在极端情况下(一般是观测样本较少的情况)，利用这种方法求解出来的参数值是远远偏离实际的。例如公式(8)中，如果观测集合中m为0(可以理解为，连续多次投掷硬币，全部是反面)，那么求解出来的是0，而它的意义是掷一次硬币，硬币朝上的概率，永远不可能朝上！这是多么荒谬的结论。因此，最大似然函数求解参数的方法，在样本数量较少时，可能会出现严重的过拟合问题，这是需要注意的。由此，我们可以在建模过程中引入一些先验知识(先验分布),用于辅助模型，这种方法源于贝叶斯观点，该方法将于下面进行讨论。

    对于上面的问题，如果改成 ： 给定数据集规模，不再关注单次掷硬币的伯努利分布，而是关注观测出现m次的概率分布，这就变成了二项分布，很容易得出，二项分布的概率分布函数为：

                                                                                                                                    (9)

    它的均值和方差这里直接列出：

                                                                                                                                                                            (10)

                                                                                                                                                      (11)

    至此，已经比较详细地介绍了伯努利分布和二项分布，以及传统概率学家的最大化似然函数的参数求解方法，下面开始讲解贝叶斯观点中引入先验分布的想法。       

       

2.Beta分布

    在贝叶斯观点中，需要引入一个关于的先验概率分布。为此，我们需要找到一个形式简单的先验分布，以便推导。首先根据贝叶斯公式，说明一下先验概率分布和后验概率分布的关系：

                                                                                                                                                  (12)

    可见，而由公式(9)得知似然函数的形式中带有的乘积，如果先验分布也是类似的形式，根据贝叶斯公式，后验概率分布正比于先验概率分布和似然函数的乘积，那么后验概率分布的函数形式就会和先验相同了，这一性质叫做共轭性。而有一种分布可以满足这样的条件，它就是Beta分布。Beta分布的定义为：

                                                                                                                      (13)

    其中，。由于参数的实际意义是一个概率，因此，所以需要Beta分布在0-1区间上的积分是1，而经过验证，Beta分布确实满足这一点。公式(13)中的a和b是超参数，用来控制参数的分布，而不同的超参数组合对应的Beta分布图像各有差异，如下面所示：

              

    Beta分布的均值和方差分别为：

                                                                                                                                                                         (14)

                                                                                                                                       (15)

    将公式(13)先验概率分布和公式(9)似然函数相乘得到后验概率分布，经化简得到：

                                                                                                                       (16)

    由于共轭性的存在，后验概率应该和先验概率服从相同形式的概率分布，因此归一化系数，得到了后验概率的Beta分布：

                                                                                  (17)

    而后验概率分布相较于先验概率分布，所得到的改变是，原来的a变成了a+m，b变成了b+l，相当于先验分布(基于经验的估计)经过了真是观测次之后，观察到m次，l次，后验概率分布进行的相对应的改进。这样直观地感受到了经过次观测之后，模型参数所得到的优化结果。而且由此也可以证明出，顺序学习的方法可以成立，数据不需要同时都用于训练模型，而是可以被分为若干个小部分，按顺序进行学习。在进行完一批训练之后，这一次得到的后验概率分布可以作为下一次的先验概率分布继续传递。同时，模型还能在观测完所有数据之前，就有预测数据分布的能力。假设模型已经观测的集合为，里面包括m次观察到,l次。则此时模型可以做出的预测分布为(利用乘积规则)：

                                                                                                                   (18)

    其中，是服从伯努利分布的(因为只是单独一次观测)，因此，所以，上式可以继续化简为：

                                                                                                                                 (19)

    很明显，公式(19)是求解的数学期望，而由公式(17)可以求解出其Beta分布的数学期望：

                                                                                                                   (20)

    这便是模型基于观测数据集做出的预测结果。而此时，如果让模型观测到总数量(m+l)趋近于无穷大，那么公式(20)中的值会趋近于，也就是会变成公式(8)那样。换句话说，当样本数量接近于无穷大时，贝叶斯观点和概率学家观点得到的结果是一样的！而当样本规模有限时，贝叶斯观点得到的结果总是位于先验概率和最大似然估计的结果之间，一定程度上能缓解最大似然估计在样本稀少时严重的过拟合问题。

    同时，随着观测样本数量增多，后验概率表示的不确定性是在持续下降的(一般情况下)。由公式(15)可知，当观测样本增大时，a和b增大，此时Beta分布的方差会减小，可以论证前面的结论(这不是严谨的证明)。

 

Reference：

[1] Pattern Recognition And Machine Learning, Christopher Bishop