GMM 模型与EM算法求解详细推导

1. 高斯模型与高维高斯模型介绍

     高斯模型也就是正态分布模型,该模型最早可见于我们的高中数学教材中。闻其名知其意,正态分布是自然界中普遍存在的一种分布。比如,考试成绩,人的智力水平等等。都是大致呈现为正态分布。其概率密度函数为

其中参数为μ,σ2 ,都是一维标量。

       对于高维高斯模型,与一维类似,只是自变量变成了多维,是一个向量。其概率密度函数为

其中参数为μ,Σ , μ是向量,Σ是协方差矩阵,是个对称阵。 

2. 高斯混合模型

       高斯混合模型简单的说就是多个高斯模型的叠加。比如在某一个班级中,将男生和女生分成两个高斯模型来分别表示男生和女生的身高,将这个两个模型叠加到一起就是整个班级的高斯混合模型。然后此时,班上突然新来了一位同学,但是不知道ta是男生还是女生。这时首先就要对ta性别进行估计,假设有0.6的概率是男生,那么就是0.4的概率为女生。那么,对该同学的身高估计=0.6 \times 班上男生(其中一个高斯分布)身高期望+0.4 \times 班上女生(其中另一个高斯分布)身高期望。对于这个0.6是我们随意假设的,但是在大多数实际情况中,我们是不能直接得到其具体值的,也就是所谓的隐变量(latent variable)。而人的身高,是我们可以观察到的样本,也就是可观察变量(observed variable)。

      下面用具体符号来说明。假设一共有K个高斯分布,获得每一个高斯分布的概率为\alpha_k,那么高斯混合分布模型如下

现在我们已知的是很多可观察样本(也就是一群人的身高,但是不知道性别),我们要来估计

你可能感兴趣的:(机器学习,GMM)