强化学习002_隐马尔科夫模型HMM

HMM是一个关于时序的概率模型，描述了一个由隐藏的马尔科夫链随机生成的不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。

主要由五部分组成：状态序列、状态转移矩阵、观测序列、观测概率分布、初始的状态分布

通过现象看本质的学习模型：隐马尔科夫模型

我们输入的拼音字母就是观测序列，而这个观测到的表象的实质应该是我们想要的拼音字母或者是句子。

隐马尔科夫模型就是通过输入的拼音字母生成最大可能的汉字序列，概率越大的就放在越靠前的位置。

1、一阶马尔科夫模型

一个时长为T的状态序列：

状态转移矩阵：

，

表示的是系统在某一时刻 t 处于状态 wi ，在下一时刻变为状态 wj 的概率。

2、一阶隐马尔科夫模型

在 t 时刻，由状态 w（t）激发出的状态 Vk（t）的概率：

状态转换图映射出来的隐马尔科夫模型：

A 表示状态转移矩阵

B 表示观测概率矩阵

π 表示初始状态向量

由隐马尔科夫模型，其主要可以解决如下三类问题：

估值问题：假设已知该HMM的状态转移矩阵A，以及观测概率矩阵B，那么可以计算出特定的观测矩阵的概率

解码问题：假设模型已知，得到一个观测矩阵，可以求解出最具有可能产生该观测序列的隐含状态序列

学习问题：假设只知道模型的大概结构，可以通过数据对模型的参数进行求解

应用举例：

有4个盒子，第一个盒子有2红3白，第二个盒子有4红1白，第三个盒子有1红4白，第四个盒子有3红2白

1——2（无条件）

2、3——0.4上一个盒子、0.6下一个盒子

4——0.5留在当前盒子、0.5转移到3号盒子

解码问题：

O = （红，白）

求解最可能的隐含状态序列是什么？

未完待续……