机器学习（17）——GMM算法

前言：
介绍一下EM算法的简单应用

算法流程

先从一个简单的例子开始：
随机选择1000名用户，测量用户的身高；若样本中存在男性和女性，身高分别 服从高斯分布N(μ1,σ1)和N(μ2,σ2)的分布，试估计参数:μ1,σ1,μ2,σ2; 如果明确的知道样本的情况(即男性和女性数据是分开的)，那么我们使用极大似然 估计来估计这个参数值。 如果样本是混合而成的，不能明确的区分开，那么就没法直接使用极大似然估计来 进行参数的估计啦。
算法流程如下：
GMM(Gaussian Mixture Model, 高斯混合模型)是指该算法油多个高斯模型线 性叠加混合而成。每个高斯模型称之为component。GMM算法描述的是数据的 本身存在的一种分布。
GMM算法常用于聚类应用中，component的个数就可以认为是类别的数量。
假定GMM由k个Gaussian分布线性叠加而成，那么概率密度函数如下图所示：

image.png

概率密度函数为：

对数似然函数为：

E步骤为：

M步骤为：

然后迭代更新参数。
下面来解决刚开始提到的身高和体重的例子
1.导入模块。

#导入我们要用的包，包括算法数据导入模块，算法评估模块，算法模块，以及画图模块。

import numpy as np
import pandas as pd
import matplotlib as mpl
import matplotlib.colors
import matplotlib.pyplot as plt

from sklearn.mixture import GaussianMixture
from sklearn.model_selection import train_test_split
# 解决中文显示问题
mpl.rcParams['font.sans-serif'] = [u'SimHei']
mpl.rcParams['axes.unicode_minus'] = False

2.导入数据
这里的导入数据是直接从scikit-learn中的数据，一共三千多条新闻作为建立贝叶斯分类器的基本。

## 数据加载
data = pd.read_csv('datas/HeightWeight.csv')
print ("数据样本数量:%d, 特征数量:%d" % data.shape)
data_x = data[data.columns[1:]]
data_y = data[data.columns[0]]
data.head()

查看数据，查看一下总的数据，结果如下：

3.将数据分为训练集和测试集

## 数据分割
x, x_test, y, y_test = train_test_split(data_x, data_y, train_size=0.6, random_state=0)

4.模型训练

## 模型创建及训练
gmm = GaussianMixture(n_components=2, covariance_type='full', random_state=28)
gmm.fit(x, y)

查看一下训练出来的模型：

5.理模型的相关参数的输出

## 模型相关参数输出
print ('均值 = \n', gmm.means_)
print ('方差 = \n', gmm.covariances_)

输出结果如下：

6.模型评估

## 获取推测值及计算准确率

# 获取预测值
y_hat = gmm.predict(x)
y_test_hat = gmm.predict(x_test)

# 查看一下类别是否需要更改一下
change = (gmm.means_[0][0] > gmm.means_[1][0])
if change:
    z = y_hat == 0
    y_hat[z] = 1
    y_hat[~z] = 0
    z = y_test_hat == 0
    y_test_hat[z] = 1
    y_test_hat[~z] = 0

# 计算准确率
acc = np.mean(y_hat.ravel() == y.ravel())
acc_test = np.mean(y_test_hat.ravel() == y_test.ravel())
acc_str = u'训练集准确率：%.2f%%' % (acc * 100)
acc_test_str = u'测试集准确率：%.2f%%' % (acc_test * 100)
print (acc_str)
print (acc_test_str)

输出的评估的结果如下：