统计学习方法——第10章 隐马尔可夫模型（个人笔记）

统计学习方法——第10章 隐马尔可夫模型（个人笔记）

参考《统计学习方法》（第二版）李航

10.1 隐马尔可夫模型的基本概念

10.1.1 隐马尔可夫模型的定义

定义10.1（隐马尔可夫模型）

隐马尔科夫模型是关于时序的概率模型，描述由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测从而产生观测随机序列的过程。隐藏的马尔科夫链随机生成的状态序列，称为状态序列（state sequence）；每个状态生成一个观测，而由此产生的观测的随机序列，称为观测序列（observation sequence）。序列的每一个位置又可以看作是一个时刻。

隐马尔可夫模型由初始概率分布、状态转移概率分布以及观测概率分布确定。隐马尔科夫模型为：

设Q是所有可能的状态的集合，V是所有可能的观测的集合：

其中，N是可能的状态数，M是可能的观测数。

I是长度为T的状态序列，O是对应的观测序列：

A是状态转移概率矩阵：

其中，

是在时刻t处于状态qi的条件下在时刻t+1转移到qj的概率。

B是观测概率矩阵：

其中，

是在时刻t处于状态qj的条件下生成观测vk的概率。

是初始状态概率向量：

其中，

是时刻t=1处于状态qi的概率。

隐马尔可夫模型由初始状态概率向量、状态转移概率矩阵A和观测概率矩阵B决定。

和A决定状态序列，B决定观测序列。因此，隐马尔科夫模型为

A,B,为隐马尔科夫模型三要素。

例子

 

 10.1.2 观测序列的生成过程

算法10.1 （观测序列的生成）

输入：隐马尔可夫模型，观测序列长度T;

输出：观测序列。

（1）按照初始状态分布产生状态；

（2）令t=1；

（3）按照状态的观测概率分布生成;

（4）按照状态的状态转移概率分布产生状态，

（5）令t=t+1;如果t

10.1.3 隐马尔可夫模型的3个基本问题

（1）概率计算问题。给定模型和观测序列

，计算在模型下观测序列O出现的概率。

（2）学习问题。已知观测序列和估计模型参数，使得最大。即用极大似然估计的方法估计参数。

（3）预测问题，也称为解码问题。 已知观测序列和估计模型参数，对给定观测序列条件概率最大的状态序列。