LDA漫游系列(三)-共轭先验分布

在上一节我们一起学习了LDA中的一些数学知识，主要学习了二项分布、Beta分布、多项式分布以及狄利克雷分布，这四个分布是有一定联系的，beta分布是二项分布的共轭先验分布，狄利克雷分布是多项式分布的共轭先验分布。那什么是共轭先验分布呢？我们一起来一步步了解一下这个神秘的知识点。

1、三种信息

首先我们来介绍一下三种信息：

总体信息

即总体分布或总体所属分布族给我们的信息，譬如，总体是正态分布这一句话就给我们带来很多信息：它的密度函数是一条钟形曲线等等。总体信息是很重要的信息，但是为了获取此种信息往往耗资巨大。

样本信息

即从总体抽取的样本给我们提供的信息，人们希望通过对样本的加工或者处理对总体的某些特征作出较为精确的统计推断，没有样本就没有统计学可言。
基于上面的两种信息进行的统计推断被称为经典统计学，它的基本观点是把数据看成是来自具有一定概率分布的总体，所研究的对象是这个整体而不限于数据本身。

先验信息

即在抽样之前有关统计问题的一些信息，一般来说，先验信息主要来源于经验和历史资料。先验信息在日常生活和工作中也经常可见，不少人在自觉地活不自觉的使用它。

基于上面三种信息进行的统计推断被称为贝叶斯统计学，它与经典统计学的主要差别在于是否利用先验信息。在使用样本信息上也是有差异的。贝叶斯学派重视已出现的样本观察值，而对尚未发生的样本观察值不予考虑，贝叶斯学派很重视先验收集、挖掘和加工，使他数量化，形成先验分布，参加到统计推断中来。以提高统计推断的质量。

2、先验分布

贝叶斯学派的最基本的观点是，任何一个未知量θ，都可以看作一个随机变量，应用一个概率分布去描述θ的未知状况。这个概率分布是在抽样前就有关于θ的先验信息的概率陈述，这个概率分布被称为先验分布。
举个简单的例子，学生估计一新教师的年龄，依据学生们的生活经历，在看了新教师的照片后立即会有反应：“新教师的年龄在30-50岁之间，极有可能在40岁左右”，一位统计学家与学生们交谈，明确这句话中的“左右”可理解为岁，“极有可能”可理解为90%的把握，于是学生们对新教师年龄的认识（先验信息）可综合为下图的概率分布，这个概率分布就是所谓的先验分布：

上图中的概率0.9不是在大量重复试验中获得的，而是学生们根据自己的生活经历的积累对该事件发生可能性所给出的信念。这样给出的概率在贝叶斯统计中是允许的，并称为主观概率。贝叶斯学派认为引入主观概率以及由此确定的先验分布至少把概率与统计的研究与应用范围扩大到不能大量重复的随机现象中来。其次，主观概率的确定不是随意的，而是要求当事人对所观察的事件有比较透彻的了解和丰富的经验，甚至是这一行的专家，在这个基础上确定的主观概率就能符合实际。

3、后验分布

依赖于参数θ的密度函数在经典统计中记为p(x;θ)，表示在参数空间中针对不同的θ对应不同的分布。在贝叶斯统计中记为p(x|θ)，它表示在随机变量θ给定某个值时，总体指标X的条件分布。

根据参数θ的先验信息我们能确定先验分布π(θ)，那么从贝叶斯观点来看，样本x=(x1,x2,....xn)的产生要分两步进行，首先设想从先验分布π(θ)产生一个样本θ，第二步时从总体分布p(x|θ)产生一个样本x=(x1,x2,....xn)，这个样本是具体的，是人们可以看得到的，此样本发生的概率与如下联合密度函数成正比：

这个函数常被称为似然函数，记为L(θ')。
在上面的式子中，θ'时设想出来的，它仍是未知的，是按先验分布π(θ)而产生的，要把先验信息进行综合，不能只考虑θ'，而应对θ的一切可能加以考虑，故要用π(θ)参与进一步综合，所以样本x和参数θ的联合分布为：

可以把三种可用的信息都综合进去。
接下来我们要对参数θ进行统计推断，在没有样本信息之前，人们只能根据先验分布对θ作出推断，在有样本观察值x=(x1,x2,....xn)之后，我们应该根据h(x,θ)对θ作出推断，为此我们要把h(x,θ)做如下的分解：

h(x,θ)=π(θ|x)m(x)
其中m(x)是x的边缘密度函数：

因为m(x)与θ无关，所以能用来对θ做推断的近视条件分布π(θ|x)：

这就是贝叶斯公式密度函数形式，这个在样本x给定后，θ的条件分布被称为θ的后验分布，它是集中了总体、样本和先验等三种信息中有关θ的一切信息，而又是排除了一切与θ无关信息之后得到的结果。估计与后验分布π(θ|x)对θ进行统计推断更为有效，也是最合理的。

先验分布π(θ)是反映人们在抽样前对θ的认识，后验分布π(θ|x)是反映人们在抽样后对θ的认识。之间的差异是由于样本x出现后人们对θ认识的一种调整。所以后验分布π(θ|x)可以看作是人们用总体信息和样本信息对先验分布π(θ)做调整的结果。

4、共轭先验分布

考虑之前用于计算后验概率的式子：

有时我们将p(x|θ)称为似然函数，先验概率π(θ)和似然函数的乘积，然后归一化得到后验 概率 P(θ | x) 。共轭先验的定义为:如果后验概率分布和先验概率分布有相同的形式(如同为指数 族分布)，则后验概率分布和先验概率分布统称共轭分布。那么先验概率π(θ)称为似然函数的共轭先验。

5、二项分布与Beta分布

上一节中我们曾经通过一个例子形象的介绍了Beta分布，在那个例子中，我们用beta分布估计了一个棒球手击中球的概率，这个beta分布可以看作是先验分布，随后我们通过实验观察棒球手的击球情况，随后更新了Beta分布的参数，这就相当于通过多次伯努利试验的方式，来对命中率进行一个合理的调整，所以二项分布可以看作是估计后验概率的似然函数。所以，通过Beta分布与二项分布的乘积，我们可以得到后验分布，如果后验分布也是Beta分布，那么就可以证明二项分布和Beta分布是共轭先验分布。接下来我们就证明一下：

由此可见，后验分布和先验分布都是beta分布，所以beta分布和二项分布是共轭先验分布。

6、多项式分布和Dirichlet分布

同样多项式分布和Dirichlet分布也是共轭先验分布：证明如下：

也就是说：

7、常见的共轭先验分布

常见的共轭先验分布有以下几种：