n元(维)正态分布(The multivariate normal distribution)

  在学习高斯判别分析(Gaussian discriminant analysis)时,出现了n元正态分布的密度函数,函数中出现了矩阵,弄得大家一头雾水。其实这个公式在大部分概率论书籍中都没有提到,不过,简要推导一下,就可以得到结果。

  茆诗松《概率论与数理统计教程》第二版中介绍了协方差矩阵和n元正态分布的密度函数,截图大家看一下,推荐身边准备这本书!
n元(维)正态分布(The multivariate normal distribution)_第1张图片
n元(维)正态分布(The multivariate normal distribution)_第2张图片

*********************************************************

如上图所示,下面简要推导一下公式:

一元正态分布:

n元(维)正态分布(The multivariate normal distribution)_第3张图片

二元正态分布:

n元(维)正态分布(The multivariate normal distribution)_第4张图片

公式中,有一个相关系数(读作rou,符号形状和p相似,为了便于书写,后文就用p来表示)。二元正态分布满足下面两个性质(推广到n元正态分布也有类型的性质):

  • 二元正态分布的边缘分布(边际分布)为一元正态分布,且二元正态分布的边际分布中不含参数p
  • 二元正态分布中除含有各分量的边际分布外,还含有两个分量间相互关联的信息。描述这种相互关联程度的一个特征数就是协方差。

    从上面两条信息可得,已知n元联合正态分布,推导其变量的边际分布很容易;已知各个变量边际分布,推导n元联合正态分布往往不可行,因为联合正太分布中还含有两个分量间相互关联的信息。

协方差

n元(维)正态分布(The multivariate normal distribution)_第5张图片

相关系数

n元(维)正态分布(The multivariate normal distribution)_第6张图片

由此可见,相关系数和协方差刻画的是同一个特征(相互关联程度)!

********************************************************************

二元正态分布密度函数推导

如上所述,已经得到了二元正态分布的联合概率密度:
n元(维)正态分布(The multivariate normal distribution)_第7张图片
为了方便推导,我们假设X与Y相互独立,则p=0,与p有关的项都消掉了,就变成下述这样:
n元(维)正态分布(The multivariate normal distribution)_第8张图片
n元(维)正态分布(The multivariate normal distribution)_第9张图片

这样,就得到了整个公式,n元正态分布,类似的对比过去就可以了!

你可能感兴趣的:(机器学习与深度学习)