贝叶斯估计

       在之前的博文《统计学中频率学派与贝叶斯学派》中，陈述了一下贝叶斯学派的一些观点及方法，本文中则说一下贝叶斯估计方面的内容。

       贝叶斯估计是依照贝叶斯定理进行了，该定理如下

                                                                                                                                           (1)

       ：的后验分布

       ：样本分布

        ：的先验分布

      从公式上看，这就是条件概率的计算，并无多大新奇之处，但是贝叶斯估计有意思的地方在于其背后贝叶斯估计思想，也即是其将看做随机变量，并引入的主观概率与先验分布的观点。通俗地讲，贝叶斯估计的包含的思想就是，一开始我们对一个事件有一定认识或了解（也可能完全不了解），但在发生另外一件与之相关的事后，我们对于原先事件的认识就有了新的认识。

       对于只有一个参数的模型，当给定样本D以及特定的模型时，积分之后公式(1)是一个常数，因此公式(1)可以写成另外一种形式

                                                                                                                                                   (2)     

        在公式(2)中可以看到，在任何情况下，收集到的数据集合越大，我们对先验分布的认识越来越深刻，先验分布对后验分布的 起到的支配性越来越小。 尽管如此，先验分布仍然很重要，下面简单谈论一下先验分布的确定方法

         1.客观法

         举个例子，我们想要调查一批产品的废品率p，因此我们需要抽样，但之前可能已经调查过多批产品的废品率了，也记录了其废品率，这样我们就可以用之前记录的数据作为本批产品废品率p的先验分布，由于这种先验分布的确定方式没有那么多人为主观因素，因此还是比较客观的，称为客观法。

        在这个方法中，有个比较有意思的地方，产品废品率的记录是用频率学派的方法进行了，但是贝叶斯学派却并不反对在上述情况下先验分布的确定方式，而频率学派也不反对在比较“客观”的条件下给出的先验分布，看来不管两派之间如何争论，总还是有互通之处。

        2.主观概率法

         这种方法就比较带有“主观性”了，按照贝叶斯学派的说法，这是一种通过“自我反省”的方法去确定先验分布，比如有人推测“明天十有八九会下雨”，确定这样的先验分布可能是基于人们对当前天气的观察得到的，但是确实是带有很强的主观性。

        3.同等无知原则

        当我们对一个事件毫无了解、或者无法确定优劣的时候，就可以按照同等无知原则来确定先验分布，认为在区间(a,b)内均匀分布。

        事实上，实际应用中的模型一般不会只包含一个参数，通常模型都包含多个参数，我们得到的是多个参数的联合后验分布，而由联合分布得到某个参数的边缘分布，需要所需要做的积分非常复杂，因此在很多场合贝叶斯估计并没有多少实践价值，但是其背后的思想、其对待不确定性的方式仍然是极具价值的。