贝叶斯统计中的边缘分布

概率论与数理统计中的边缘分布

• 假设有二维随机变量$(X,Y)$具有分布函数$F(x,y)$，其中$X,Y$都是随机变量，也有各自的分布函数，将它们各自的分布函数分别记为$F_X(x),F_Y(y)$，则$F_X(x),F_Y(y)$就被称为二维随机变量$(X,Y)$关于随机变量$X,Y$的边缘分布的分布函数$$F(x,y)=P\{X\le x,Y\le y\}$$$$F_X(x)={\int }_{Y}F(x,y)dy$$$$F_Y(y)={\int }_{X}F(x,y)dx$$

贝叶斯统计中的边缘分布m(x)

• 在贝叶斯统计中，我们将参数也视为随机变量，因此我们总是通过如下公式来计算样本的边缘分布$$m(x)={\int }_{\theta }f(X,\theta )d\theta ={\int }_{\theta }f(X|\theta )\pi (\theta )d\theta$$这和概率统计中的边缘分布是吻合的，为了进一步介绍边缘分布的统计学意义，下面将介绍混合分布的概念

混合分布

• 设随机变量$X$以$p$的概率在总体$F_1$中取值，以$1-p$的概率在总体$F_2$中取值，若用$F(x|{\theta }_1)$和$F(x|{\theta }_2)$分别表示总体$F_1$和总体$F_2$的分布函数，则$X$的混合分布函数为$F(X)=p\ast F(x|{\theta }_1)+(1-p)\ast F(x|{\theta }_2)$，$X$的混合概率密度为$f(X)=p\ast f(x|{\theta }_1)+(1-p)\ast f(x|{\theta }_2)$，称$f(X)$为$f(x|{\theta }_1)$和$f(x|{\theta }_2)$的混合分布
• $p$和$1-p$可以视为随机变量$\theta$的概率分布，由此可见边缘分布$m(x)$是混合分布的推广。
• 当$\theta$为离散型随机变量时，边缘分布$m(x)$由有限个概率函数混合而成；
• 当$\theta$为连续型随机变量时，边缘分布$m(x)$由无限个概率函数混合而成。