机器学习-隐马尔科夫模型

标注问题：标注也是一个监督学习问题。可以认为标注问题是分类问题的一个推广，标注问题又是更复杂的结构预测问题的简单形式。标注问题的输入是一个观测序列，输出是一个标记序列或者状态序列。标注问题的目的在于学习一个模型，使它能够对观测序列给出标记序列作为预测。标注问题分为学习和标注两个过程。学习过程：从训练数据学习条件概率分布；标注过程：对新的输入观测序列找到相应的输出标记序列。

隐马尔科夫模型：是可用于标注问题的统计学模型，描述由隐藏的马尔科夫链随机生成观测序列的过程，属于生成模型。隐马尔科夫模型是关于时序的概率模型，描述由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。隐藏的马尔科夫链随机生成的状态序列，称为状态序列；每个状态生成一个观测，由此而产生的观测随机序列，称为观测序列。序列的每一个位置又可以看作是一个时刻。

隐马尔科夫模型由初始状态概率分布、状态转移概率分布以及观测概率分布确定。

隐马尔科夫模型的三要素：初始状态概率向量，转移状态概率矩阵A和观测概率矩阵B。和决定状态序列，B决定观测序列。

初始状态概率向量和状态转移概率矩阵确定了隐藏的马尔科夫链，生成不可观测的状态序列。观测概率矩阵确定了如何从状态生成观测，与状态序列综合确定了如何产生观测序列。

齐次马尔科夫性假设：假设隐藏的马尔科夫链在任意时刻 t 的状态只依赖于前一时刻的状态，与其他时刻的状态及观测无关，也与时刻 t 无关。

观测独立性假设：假设任意时刻的观测只依赖于该时刻的马尔科夫链的状态，与其他观测及状态无关。