统计学习方法——第10章 隐马尔可夫模型(个人笔记)

统计学习方法——第10章 隐马尔可夫模型(个人笔记)

参考《统计学习方法》(第二版)李航

10.1 隐马尔可夫模型的基本概念

10.1.1 隐马尔可夫模型的定义

定义10.1(隐马尔可夫模型)

隐马尔科夫模型是关于时序的概率模型,描述由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列,再由各个状态生成一个观测从而产生观测随机序列的过程。隐藏的马尔科夫链随机生成的状态序列,称为状态序列(state sequence);每个状态生成一个观测,而由此产生的观测的随机序列,称为观测序列(observation sequence)。序列的每一个位置又可以看作是一个时刻。

隐马尔可夫模型由初始概率分布、状态转移概率分布以及观测概率分布确定。隐马尔科夫模型为:

设Q是所有可能的状态的集合,V是所有可能的观测的集合:

Q=\left \{ q_1,q_2,\cdots,q_N \right \}, V=\left \{ v_1,v_2,\cdots,v_M \right \}

其中,N是可能的状态数,M是可能的观测数。

I是长度为T的状态序列,O是对应的观测序列:

I=(i_1,i_2,\cdots,i_T),O=(o_1,o_2,\cdots,o_T)

A是状态转移概率矩阵:

A=[a_{ij}]_{N\times N}

其中,

a_{ij}=P(i_{t+1}=q_j|i_t=q_i),i=1,2,\cdots,N;j=1,2,\cdots,N

是在时刻t处于状态qi的条件下在时刻t+1转移到qj的概率。

B是观测概率矩阵:

B=[b_{j}(k)]_{N\times M}

其中,

b_{j}(k)=P(o_{t}=v_k|i_t=q_j),k=1,2,\cdots,M;j=1,2,\cdots,N

是在时刻t处于状态qj的条件下生成观测vk的概率。

\pi是初始状态概率向量:

\pi=(\pi_i)

其中,

\pi_i=P(i_1=q_i),i=1,2,\cdots,N

是时刻t=1处于状态qi的概率。

隐马尔可夫模型由初始状态概率向量\pi、状态转移概率矩阵A和观测概率矩阵B决定。

\pi和A决定状态序列,B决定观测序列。因此,隐马尔科夫模型\lambda

\lambda =(A,B,\pi)

A,B,\pi为隐马尔科夫模型三要素。

例子

统计学习方法——第10章 隐马尔可夫模型(个人笔记)_第1张图片

 统计学习方法——第10章 隐马尔可夫模型(个人笔记)_第2张图片

 10.1.2 观测序列的生成过程

算法10.1 (观测序列的生成)

输入:隐马尔可夫模型\lambda =(A,B,\pi),观测序列长度T;

输出:观测序列O=(o_1,o_2,\cdots,o_T)

(1)按照初始状态分布\pi产生状态i_1

(2)令t=1;

(3)按照状态i_t的观测概率分布b_{i_t}(k)生成o_t;

(4)按照状态i_t的状态转移概率分布\left \{ a_{i_ti_{t+1}} \right \}产生状态i_{t+1}i_{t+1}=1,2,\cdots,N;

(5)令t=t+1;如果t

10.1.3 隐马尔可夫模型的3个基本问题

(1)概率计算问题。给定模型\lambda =(A,B,\pi)和观测序列 O=(o_1,o_2,\cdots,o_T)

,计算在模型\lambda下观测序列O出现的概率P(O|\lambda )

(2)学习问题。已知观测序列O=(o_1,o_2,\cdots,o_T)和估计模型\lambda =(A,B,\pi)参数,使得P(O|\lambda )最大。即用极大似然估计的方法估计参数。

(3)预测问题,也称为解码问题。 已知观测序列O=(o_1,o_2,\cdots,o_T)和估计模型\lambda =(A,B,\pi)参数,对给定观测序列条件概率P(I|O)最大的状态序列I=(i_1,i_2,\cdots,i_T)

你可能感兴趣的:(机器学习,学习,机器学习)