关于高斯概率模型的一些理解

高斯分布,也就是所谓的正态分布,在1维的情况下,参数是均值和方差,比较好理解的。在高维的情况下,输入x变成了一个n维的向量,相应高维高斯分布的参数也就变成了,n维向量的均值,还有n维向量的协方差矩阵。

对于单高斯分布,参数可以用最大似然法估计,所谓最大似然法,首先写出分布的似然,L\left ( \theta \mid x_{1},x_{2} \right )=f\left ( x_{1},x_{2} \mid \theta \right )=\prod_{i=1}^{2}f(x_{i} \mid \theta),然后取对数,把连乘变为加号,方便求导,最后就是求导寻找argmax。

而对于由K个单高斯分布组成的高斯混合模型,由于这K个分布的参数也未知,无法判断当前数据点是属于哪一个模型的隐变量,这时就可以用EM模型通过迭代来进行含有隐变量概率模型的最大似然估计,所谓隐变量就是无法观测到,但对系统的输出和状态有影响的变量。

参考博客:

1: https://www.jianshu.com/p/f1d3906e4a3e深入浅出最大似然估计(Maximum Likelihood Estimation)

2: https://zhuanlan.zhihu.com/p/30483076高斯混合模型

3: https://www.jianshu.com/p/1121509ac1dc如何感性地理解EM算法

4: https://blog.csdn.net/Ding_xiaofei/article/details/80207084机器学习中的隐变量和隐变量模型

 

你可能感兴趣的:(概率统计)