机器学习-EM算法机器推广基于GaussianMixture函数对样本进行聚类-python实现

1. EM算法概述

  EM (Expectation Maximization) 算法是一种迭代算法，用于含有隐变量（hidden variable）的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两步组成：E步，求期望（expectation）；M步，求极大（maximization）。
  一般的对样本模型的建立，是从样本的观测数据入手，找出样本的模型参数。常用的方法是最大似然估计，即利用已知的样本观测结果来反推最有可能的导致这个结果的样本参数。
  但实际的样本观测中，可能存在未观测到的隐含数据，此时我们未知的有隐含数据和模型参数，无法直接用极大化对数似然函数得到模型分布的参数。
  对于未知的隐变量，我们先猜想隐变量，这是EM算法中的E步。基于已知的观测数据和猜想的隐变量，来极大化对数似然，求解我们的模型参数，这是EM算法的M布。当然，这个猜想的隐变量一般情况下是无法满足我们想要的结果。那么，我们基于刚刚求解的模型参数，继续猜想隐含数据，然后继续E步和M步，直到模型分布参数基本无变化，算法收敛，此时样本数据找到了合适的模型参数。
  举一个例子，我有一包糖果，为了公平，我要平分给我的妹妹。此时，我并不知道糖果的重量。于是乎，我随机把糖果分在两个袋子里。然后我掂量两个袋子的重量，感觉一个重一个轻，这就是EM算法的E步。那么我从重的袋子里抓一把糖果，放在轻的袋子里，此时，我并不知道我抓一把糖果有多重，放好之后，又掂量两个袋子的重量。这就是EM算法的M步。然后反复的分糖果，反复的掂量，直到我感觉两个袋子差不多重，那么此时，就达到我平分糖果的目的了。

2. 原理及数学表达

输入：观测变量数据$Y$，隐变量数据$Z$，联合分布$P(Y，Z|)$，条件分布$P(Z|Y,)$；
输出：模型参数 。

1. 选择参数的初值${\theta }^{(0)}$，开始迭代； 初值可以任意选择，但是EM算法对初值是敏感的，不同的初值可能得到不同的参数估计值。
2. E步：记${\theta }^{(i)}$为第$i$次迭代参数的估计值，在第i+1次迭代的E步，计算
   $$\begin{array}{c}Q\left(\theta ,{\theta }^{(i)}\right)=Ez|\log P(Y,Z\mid \theta )|Y,{\theta }^{(i)}\mid \\ {\sum }_Z\log P(Y,Z\mid \theta )P\left(Z\mid Y,{\theta }^{(i)}\right)\mid \end{array}$$
   这里，$P(Z|Y，{\theta }^{(i)})$是在给定观测数据$Y$和当前的参数估计${\theta }^{(i)}$下隐变量数据Z的条件概率分布。 Q函数是EM算法的核心。完全数据的对数似然函数$\log P(Y,Z|\theta )$关于在给定观测数据$Y$和当前参数${\theta }^{(i)}$下对未观测数据Z的条件概率分布$P(Z|Y，{\theta }^{(i)})$的期望就是Q函数。
3. M步：求$Q(\theta ,{\theta }^{(i)})$使极大化的${\theta }^{(i)}$，确定第i+1次迭代的参数的 估计值${\theta }^{(i+1)}=\arg {\max }_{\theta }Q\left(\theta ,{\theta }^{(i)}\right)$
4. 重复第2步和第3步，直到收敛。

3. 代码实现

  EM算法在高斯混合模型中的应用，用高斯混合模型对数据聚类，认为任意样本数据都可以由多个高斯分布函数去近似。
  通过make_blobs函数建立以[-1,-1], [0,0], [1,1], [2,2]为中心，[0.5, 0.3, 0.4, 0.3]为标准差的数据样本集。通过GaussianMixture函数对样本进行聚类，设置n_components=4，即四个高斯分布函数。得到结果可以看出，能对数据集很进行很好的聚类。

# 导入基本库
import matplotlib.pyplot as plt
from sklearn.datasets.samples_generator import make_blobs
from sklearn.mixture import GaussianMixture

# 生成样本特征和簇类别
X, y = make_blobs(n_samples=1000, n_features=2, centers=[[-1,-1], [0,0], [1,1], [2,2]],
                  cluster_std=[0.5, 0.3, 0.4, 0.3])
'''
X为样本特征，Y为样本簇类别
n_samples: 表示数据样本点个数
n_features: 表示数据的维度
centers: 产生数据的中心点
cluster_std: 数据集的标准差
'''

##设置gmm函数
gmm = GaussianMixture(n_components=4, covariance_type='full').fit(X)
'''
n_components:混合高斯模型个数
covariance_type：通过EM算法估算参数时使用的协方差类型，默认是'full'
'''
##训练数据
y_pred = gmm.predict(X)

##绘图
ax1 = plt.subplot(211)
ax1.set_title('original data')
plt.scatter(X[:, 0], X[:, 1],c='gray',marker='.')
ax2 = plt.subplot(212)
ax2.set_title('cluster data')
plt.scatter(X[:, 0], X[:, 1], c=y_pred,marker='.')
plt.show()

4. 总结

  当我们的样本数据都是可观测的数据是，那么对于给定的数据可以用极大似然估计，或者贝叶斯估计法来求解概率模型。但当样本数据存在隐变量时，那么隐变量很难由最大似然求解，这就需要EM算法来求解含有隐变量的概率模型参数。
  粗略的理解EM算法，在求解样本模型时，模型参数θ和未观测数据Z都是未知的，在每次迭代的过程中，一次固定一个变量，对另外的变量求基质。E步，固定θ，优化Q，M步，固定Q，优化θ。交替的将极值推向最大，求解极大似然估计。
  EM算法简单普适，但存在会收敛到局部最优的问题。