高斯混合聚类

本文参考B站 up【張振兴】和B站 up【致敬大神】

 1.理解高斯混合模型

这里有一个班级的两门课成绩，分别是物理和生物。我们发现这次生物题比较简单，全班分数都挺高，而物理题比较难，全班成绩都低 。

我们把数据绘制成柱状图，通过柱状图我们发现他们都遵循高斯分布，尽管均值和方差不同，但都是高斯分布。

假如对数据集做高斯混合聚类处理，数据叠加到一起是这样的。它是一个模型，但并不是一个高斯分布，它是两个子集的合并，但合并之后并不是高斯分布 。

它是两个没有标签的高斯分布。

经过计算机的高斯混合聚类，我们得到了这样的结果。

因此，高斯混合分布本身并不是高斯模型，而是两个高斯模型的混合物，哪个点更可能属于哪一个高斯模型，它就被分到哪一个类中，这就是高斯混合模型的最简单的例子。

2.步骤

1. 初始化 高斯混合成分的个数 k ，假设高斯混合分布模型参数 α(高斯混合系数) μ (均值) , Σ(协方差矩阵)；

2. 分别计算每个样本点的 后验概率 (该样本点属于每一个高斯模型的概率)；

3. 迭代 α μ , Σ；

4. 重复第二步直到收敛。

3. 例题详解（P210）

1. 初始化

2. 计算后验概率 

以  为例，计算过程如下：

计算所有样本的后验概率，将得到如下数据。每行数据代表该样本属于三个不同分布的概率。

如第一行数据代表，样本  属于 ， 分布的概率为 0.2187515，属于 ， 分布的概率是0.40437245，属于 ， 分布的概率为 0.37687605

3. 更新参数

1. ：相当于概率的均值，因此更新为每列均值。

2. ：相当于的均值。

以计算  为例： 

[1] 用数据集数据 ×  的第一列。

[2] 对结果按列求和得  (1)

[3] 对  求和得 （2）

[4]  = (1) / (2) 即

3.  

把 ， 代入公式，计算可得 0 =