隐马尔可夫模型

1. 基本思想

隐马尔可夫模型是一种常用于处理时间序列的概率图模型，其概率图如下图所示，其中$s_I$是隐状态，$y_i$是观测变量；$p(s_i|s_{i-1})$是概率转移，$p(y_i|s_i)$是观测概率。

根据概率图的计算公式，很容易得出两组变量的联合分布：

---

2. 三个基本问题与求解

2.1 似然计算

问题：给定参数集$\theta$和观测序列{$y_1,y_2,...,y_m$}，如何高效计算似然$p(Y|\theta )$的概率？
分析：如果采用扩充法扩充出所有变量地联合概率，复杂度是$O(|S{|}^n)$，计算复杂度较高。考虑采用递推法将复杂度降为$O(n|S|)$

得到如下的递推式

2.2 最可能序列

问题：给定参数$\theta$和观测集$Y$，求最可能的状态序列$X$
分析：即$argma{x}_X$ $p(X|Y,\theta )$,
只要将上面的递推式的求和号改为argmax即可，这就是维特比算法

2.3 EM问题

寻找最好的$\theta$使得$p(Y|\theta )$最大，由于隐变量X未知所以采用EM算法
EM算法分为E步和M步
1）E步：计算概率$p(X|Y,{\theta }^{i-1})$
2) M步: ${\max }_{\theta }Q(\theta )$, $Q(\theta )={\sum }_y{\sum }_{x}p(x|y,{\theta }^{i-1})logp(y,x,{\theta }^i)$