HMM隐Markov模型的原理及应用建模

这里不讲定量的公式，（因为我也没完全弄明白，不想误人子弟）只谈快速定性理解。

隐Markov模型原理

隐Markov模型（Hidden Markov Model，HMM）的实质就是：已知几种原始分类，预测未知原始分类的观测状态的原始分类的过程。其应用是求观测状态到分类的近似最大似然估计。近似是因为理论最大的实际计算量太大，无法做，所以找了个优化求近似最优的方法，简称EM算法。

一个直观理解的例子：

问题题干：

设某人在3个装有红白两种颜色球的盒子中，任取一个盒子，然后在此盒子中连续抽取m次，每次抽取且记录颜色之后放回盒子里。假定各个盒子的内容分别为：

         红球数        白球数      

盒1   90              10            

盒2   50              50           

盒3   40              60            

现在得到一个记录（红，红，红，红，白）(即m=5) ，但是不告诉我们球出自哪个盒子，该如何推测是从哪个盒子取出的观测样本呢？

问题分析：

     已知三种原始分类，预测未知原始分类的观测状态（红，红，红，红，白）的原始分类的过程。每次概率是固定的，直观感受，出现该记录最大可能是出自盒1。HMM隐Markov的基本思想就是这么简单。

     稍微变一下题目，假设三种盒子里抽取方式不同，即

         红球数       白球数      抽取方式
盒1   90              10            随机取，记下颜色后不放回
盒2   50              50            随机取，记下颜色后放回
盒3   40              60            随机取，记下颜色后不放回，并放入一个红球

     则问题变成了盒1和盒3的每次抽取的样本概率受上次抽取状态的决定，与更之前的状态无关。

不管问题怎么变复杂，都是从已知原始分类（先验知识），依据概率理论，预测观测样本到原始分类的问题。

隐Markov模型的应用

语音识别：音素对应上例中的球

手写体汉字识别：像素对应上例中的球

实际处理过程中会先预处理，得到保持特征不变性的量，而不是简单的音素、像素。

补充

1、EM：E步骤，求期望，M步骤，求最大值。针对在测量数据不完全时，一种近似最大似然估计的统计方法。

2、隐Markov模型扩展：刚才讲的都是简单离散概率模型的隐Markov模型，实际情况可以推广到连续随机变量，典型的有正态分布、Gamma分布，或者某些混合分布等。比如最常写在一起的GMM-HMM，即高斯混合模型-隐形马尔科夫模型。该模型即是卷积神经网络的基础。

3、GMM-HMM的语音识别应用，参考http://blog.csdn.net/abcjennifer/article/details/27346787

4、GMM即多变量的高斯模型，在机器学习的异常检测中也用到。可以参考http://blog.csdn.net/lonelyrains/article/details/49861491