统计学习方法_读书笔记_10章_HMM

HMM是一种生成模型.描述了隐含的马尔科夫链随机生成观测序列的过程.
所以HMM=隐含的马尔科夫链->随机生成的观测序列.
更具体的说,HMM=隐含的马尔科夫链->随机生成状态序列->随机生成观测序列

基本概念

定义

λ=(A,B,π)

我理解,状态序列和观测序列都是离散可枚举的.
感觉中间也有隐变量.那它和EM算法可以找到什么区别呢?其中一个是,HMM是和顺序有关的,EM算法和顺序基本无关.

HMM的3个基本问题

1. 概率计算问题
2. 学习问题
3. 预测问题.语音识别就是这个问题.

这三个问题哪个简单哪个容易呢

概率学习问题

已知 λ=(A,B,π) 和观测序列 O=(o1,o2,...,oT) ,计算 O 出现的概率 P(O|λ) .

暴力计算法

观察我们要求的问题 P(O|λ) ,可以拆分成 P(O,I|λ) ,然后对 I 求和.这种方式需要枚举出所有可能的隐含序列.

P(I|λ)=P(i1,i2,...,iT|λ)=πai1i2ai2i3...aiT−1iT

P(O,I|λ)=πai1i2oai2i3...aiT−1iT

这个复杂度是 O(Tk)