HMM隐Markov模型的原理及应用建模

这里不讲定量的公式,(因为我也没完全弄明白,不想误人子弟)只谈快速定性理解。


隐Markov模型原理

隐Markov模型(Hidden Markov Model,HMM)的实质就是:已知几种原始分类,预测未知原始分类的观测状态的原始分类的过程。其应用是求观测状态到分类的近似最大似然估计。近似是因为理论最大的实际计算量太大,无法做,所以找了个优化求近似最优的方法,简称EM算法。


一个直观理解的例子:

问题题干:

设某人在3个装有红白两种颜色球的盒子中,任取一个盒子,然后在此盒子中连续抽取m次,每次抽取且记录颜色之后放回盒子里。假定各个盒子的内容分别为:

         红球数        白球数      

盒1   90              10            

盒2   50              50           

盒3   40              60            

现在得到一个记录(红,红,红,红,白)(即m=5) ,但是不告诉我们球出自哪个盒子,该如何推测是从哪个盒子取出的观测样本呢?

问题分析:

     已知三种原始分类,预测未知原始分类的观测状态(红,红,红,红,白)的原始分类的过程。每次概率是固定的,直观感受,出现该记录最大可能是出自盒1。HMM隐Markov的基本思想就是这么简单。

     稍微变一下题目,假设三种盒子里抽取方式不同,即

         红球数       白球数      抽取方式
盒1   90              10            随机取,记下颜色后不放回
盒2   50              50            随机取,记下颜色后放回
盒3   40              60            随机取,记下颜色后不放回,并放入一个红球

     则问题变成了盒1和盒3的每次抽取的样本概率受上次抽取状态的决定,与更之前的状态无关。


不管问题怎么变复杂,都是从已知原始分类(先验知识),依据概率理论,预测观测样本到原始分类的问题。


隐Markov模型的应用

语音识别:音素对应上例中的球

手写体汉字识别:像素对应上例中的球

实际处理过程中会先预处理,得到保持特征不变性的量,而不是简单的音素、像素。


补充

1、EM:E步骤,求期望,M步骤,求最大值。针对在测量数据不完全时,一种近似最大似然估计的统计方法。

2、隐Markov模型扩展:刚才讲的都是简单离散概率模型的隐Markov模型,实际情况可以推广到连续随机变量,典型的有正态分布、Gamma分布,或者某些混合分布等。比如最常写在一起的GMM-HMM,即高斯混合模型-隐形马尔科夫模型。该模型即是卷积神经网络的基础。


3、GMM-HMM的语音识别应用,参考http://blog.csdn.net/abcjennifer/article/details/27346787

4、GMM即多变量的高斯模型,在机器学习的异常检测中也用到。可以参考http://blog.csdn.net/lonelyrains/article/details/49861491

你可能感兴趣的:(HMM隐Markov模型的原理及应用建模)