【10.1算法理论部分（2）概率计算问题（前向-后向算法）】Hidden Markov Algorithm——李航《统计学习方法》公式推导

10.2 概率计算方法（解决Evaluation：Given λ ，求 P(O|λ)）

10.2.1直接计算法

1.给定HMM模型$\lambda =(A,B,\pi )$和观测序列$O=(o_1,o_2,\cdot \cdot \cdot ,o_T)$，概率计算问题需要计算在模型λ下观测序列O出现的概率$P(O|\lambda )$.
2.最直接的方法是按照概率公式直接计算：通过列举所有可能的、长度为T的状态序列$S=(s_1,s_2,\cdot \cdot \cdot ,s_T)$，求各个状态序列 I 与观测序列$O=(o_1,o_2,\cdot \cdot \cdot ,o_T)$的联合概率$P(O,S|\lambda )$，然后对所有可能的状态序列求和，得到 $P(O|\lambda )$.
（1）状态序列$S=(s_1,s_2,\cdot \cdot \cdot ,s_T)$的概率为：
$$P(S|\lambda )={\pi }_{s_1},a_{s_1{s}_2},{\pi }_{s_2},a_{s_2{s}_3},\cdot \cdot \cdot ,a_{s_{T-1}{s}_T}----(10.10)$$
（2）给定状态序列$S=(s_1,s_2,\cdot \cdot \cdot ,s_T)$，观测序列$O=(o_1,o_2,\cdot \cdot \cdot ,o_T)$的条件概率为：
$$P(O|S,\lambda )=b_{s_1}(o_1),b_{s_2}(o_2),\cdot \cdot \cdot ,b_{s_T}(o_T)----(10.11)$$
（3）O 和 I 同时出现的联合概率为：
$$P(O,S|\lambda )=P(O|S,\lambda )P(S|\lambda )={\pi }_{s_1}{a}_{s_1{s}_2}{a}_{s_2{s}_3},\cdot \cdot \cdot ,a_{s_{T-1}{s}_T}{b}_{s_1}(o_1),b_{s_2}(o_2),\cdot \cdot \cdot ,b_{s_T}(o_T)----(10.12)$$
（4）对所有可能的状态序列 I 求和，得到观测序列 O 的概率：
$$P(S|\lambda )=\sum _{S}P(O|S,\lambda )P(S|\lambda )=\sum _{S}P(O,S|\lambda )=\sum _{s_1,s_1,\cdot \cdot \cdot ,s_T}{\pi }_{s_1}{a}_{s_1{s}_2}{a}_{s_2{s}_3},\cdot \cdot \cdot ,a_{s_{T-1}{s}_T}{b}_{s_1}(o_1),b_{s_2}(o_2),\cdot \cdot \cdot ,b_{s_T}(o_T)----(10.13)$$
这里就是对S求积分，然后就可以把S积掉，然后得到$P(O|\lambda )$.
上式的算法复杂度为 $O(T\ast Q^T)$，太复杂，实际应用中不太可行。
上式中的时间复杂度 $O(T\ast Q^T)$是怎么计算的呢？
对于式子$P(O,S|\lambda )=P(O|S,\lambda )P(S|\lambda )={\pi }_{s_1}{a}_{s_1{s}_2}{a}_{s_2{s}_3},\cdot \cdot \cdot ,a_{s_{T-1}{s}_T}{b}_{s_1}(o_1),b_{s_2}(o_2),\cdot \cdot \cdot ,b_{s_T}(o_T)$本身的时间复杂度为T，然后由于需要计算${\sum }_{s_1,s_1,\cdot \cdot \cdot ,s_T}$，这里就相当于是$N^T$，所以最终的时间复杂度就为$O(T{N}^T)$.

10.2.2前向算法

1. 定义10.2（前向概率） 给定隐马尔可夫模型 λ ，定义到时刻 t 部分观测序列为 $o_1,o_2,\cdot \cdot \cdot ,o_T$ 且状态为 $q_i$ 的概率为前向概率，记作：
   $${\alpha }_t(i)=P(o_1,o_2,\cdot \cdot \cdot ,o_t,s_t=q_i|\lambda )----(10.14)$$
   可以递推的求得前向概率${\alpha }_t(i)$及观测序列概率$P(O|\lambda )$.
2. 算法10.2（观测序列概率的前向算法）
   输入：HMM的参数 λ ，观测序列O；
   输出：观测序列概率 P(O|λ).
   （1）初值
   $${\alpha }_1(i)={\pi }_i{b}_i(o_1),i=1,2,\cdot \cdot \cdot ,N----(10.15)$$
   （2）递推 对$t=1,2,\cdot \cdot \cdot ,T-1$,
   $${\alpha }_{t+1}(i)=\left[\sum _{j=1}^N{\alpha }_t(j)a_{ji}\right]b_i(o_{t+1}),i=1,2,\cdot \cdot \cdot ,N----(10.16)$$
   (10.16)推导
   ${\alpha }_t(i)----(\mathrm{10.16.1})$
   $=P(o_1,o_2,\cdot \cdot \cdot ,o_t,s_t=q_i|\lambda )----(\mathrm{10.16.2})$
   $={\sum }_{j=1}^{N}P(o_1,o_2,\cdot \cdot \cdot ,o_t,s_{t-1}=q_j,s_t=q_i|\lambda )----(\mathrm{10.16.3})$
   $={\sum }_{j=1}^{N}P(o_t|o_1,o_2,\cdot \cdot \cdot ,o_{t-1},s_{t-1}=q_j,s_t=q_i,\lambda )P(o_1,o_2,\cdot \cdot \cdot ,o_{t-1},s_{t-1}=q_j,s_t=q_i|\lambda )----(\mathrm{10.16.4})$
   $={\sum }_{j=1}^{N}P(o_t|s_t=q_i,\lambda )P(o_1,o_2,\cdot \cdot \cdot ,o_{t-1},s_{t-1}=q_j,s_t=q_i|\lambda )P(s_t=q_i|o_1,o_2,\cdot \cdot \cdot ,o_{t-1},s_{t-1}=q_j,\lambda )----(\mathrm{10.16.5})$
   $=P(o_t|s_t=q_i,\lambda ){\sum }_{j=1}^{N}P(o_1,o_2,\cdot \cdot \cdot ,o_{t-1},s_{t-1}=q_j|\lambda )P(s_t=q_i|s_{t-1}=q_j,\lambda )----(\mathrm{10.16.6})$
   $=b_s(o_t){\sum }_{j=1}^N{\alpha }_{t-1}(j)a_{ji}----(\mathrm{10.16.7})$
   这个用的是${\alpha }_t(i)$和${\alpha }_{t-1}(j)$的递推，与（10.16）的${\alpha }_{t+1}(i)$和${\alpha }_t(j)$递推类似，改改下标就行
   其中，(10.16.4)-(10.16.5)用到了观测独立性假设和条件概率，(10.16.5)-(10.16.6)用到了齐次马尔可夫性假设
   （3）终止
   $$P(O|\lambda )=\sum _{i=1}^N{\alpha }_T(i)---(10.17)$$
   这个公式该如何理解嘞？
   就相当于$P(O|\lambda )={\sum }_{i=1}^N{\alpha }_T(i)={\sum }_{i=1}^{N}P(o_1,o_2,\cdot \cdot \cdot ,o_t,s_t=q_i|\lambda )$对i进行积分，就可以直接得到$P(O|\lambda )$.
   给一张图片可以更直观的感受这个公式的意思：

这里我习惯从 i 到 j 可能和公式中的 $a_{ji}$ 正好反过来了，看的时候可以注意一下，其实都是一个道理，只是一个符号而已。
同时借着这张图和前向算法的递推式来聊一聊时间复杂度的问题：
由于前向算法的递推公式，所以每一步的计算都用到了上一步的结果，所以使得时间复杂度大大的降低，我们来算一算前向算法的具体的时间复杂度：每一个时刻 t 都有 N 个可能的状态，每一个状态需要运用前向算法的递推公式要计算$N^2$次，一共有T个时刻，所以最终的时间复杂度为$O(T{N}^2)$，提前说一句，当你看完后向算法的时候你会发现，后向算法的时间复杂度也是$O(T{N}^2)$，后面还会提这个问题。
都看到这里了，也是一大堆理论的东西，没有例子终究觉得理解的不够深刻，那我建议去看一看书中的例10.2，自己算一遍，理解肯定非常深刻

10.2.3后向算法

1. **定义10.3（后向概率）**给定隐马尔可夫模型 λ，定义在时刻 t 状态为 $q_i$的条件下，从 t+1 到 T 的部分观测序列为 $o_{t+1},o_{t+2},\cdot \cdot \cdot ,o_T$ 的概率为后向概率，记作：
   $${\beta }_t(i)=P(o_{t+1},o_{t+2},\cdot \cdot \cdot ,o_T|s_t=q_i,\lambda )----(10.18)$$
2. 算法10.3（观测序列概率的后向算法）
   输入：HMM的参数 λ ，观测序列O；
   输出：观测序列概率P(O|λ).
   （1）计算初值：
   $${\beta }_T(i)=1,i=1,2,\cdot \cdot \cdot ,N----(10.19)$$
   这个地方你可能有问题，就是为什么${\beta }_T(i)$要等于1 ？
   解答这个问题可以从后向概率的定义说起，对于${\beta }_T(i)$是什么意思嘞，就是说在 T 时刻状态为KaTeX parse error: Undefined control sequence: \q at position 1: \̲q̲_{i}的条件下，从 T+1 到最后的观测序列，但是我们的观测就知道 T ，所以T+1 时刻可以观测到任意值，所以概率就是1。
   同样的在网上我也看到了相应问题的数学推导，见下图，可以跟着推导理解一下。

*该图片引自知乎https://www.zhihu.com/question/55974064南屏晚钟的解答，如有侵权，请联系后速删*

（2）递推：对$t=T-1,T-2,\cdot \cdot \cdot ,1$
$${\beta }_t(i)=\sum _{j=1}^N{\alpha }_t(j)a_{}{b}_i(o_{t+1}),i=1,2,\cdot \cdot \cdot ,N----(10.20)$$
（10.20）推导
${\beta }_t(i)----(\mathrm{10.20.1})$
$=P(o_{t+1},o_{t+2},\cdot \cdot \cdot ,o_T|s_t=q_i,\lambda )----(\mathrm{10.20.2})$
$={\sum }_{j=1}^{N}P(o_{t+1},o_{t+2},\cdot \cdot \cdot ,o_T,s_{t+1}=q_j|s_t=q_i,\lambda )----(\mathrm{10.20.3})$
$={\sum }_{j=1}^{N}P(s_{t+1}=q_j|s_t=q_i,\lambda )P(o_{t+1},o_{t+2},\cdot \cdot \cdot ,o_T|s_{t+1}=q_j,s_t=q_i,\lambda )----(\mathrm{10.20.4})$
$={\sum }_{j=1}^{N}P(o_{t+1},o_{t+2},\cdot \cdot \cdot ,o_T|s_{t+1}=q_j,s_t=q_i,\lambda )a_{ij}----(\mathrm{10.20.5})$
$={\sum }_{j=1}^{N}P(o_{t+1},o_{t+2},\cdot \cdot \cdot ,o_T|s_{t+1}=q_j,\lambda )a_{ij}----(\mathrm{10.20.6})$
$={\sum }_{j=1}^{N}P(o_{t+1}|o_{t+2},o_{t+3},\cdot \cdot \cdot ,o_T,s_{t+1}=q_j,\lambda )P(o_{t+2},o_{t+3},\cdot \cdot \cdot ,o_T|s_{t+1}=q_j,\lambda )a_{ij}----(\mathrm{10.20.7})$
$={\sum }_{j=1}^{N}P(o_{t+1}|s_{t+1}=q_j,\lambda )P(o_{t+2},o_{t+3},\cdot \cdot \cdot ,o_T|s_{t+1}=q_j,\lambda )a_{ij}----(\mathrm{10.20.8})$
$={\sum }_{j=1}^N{b}_j(o_{t+1}){\beta }_{t+1}(j)a_{ij}----(\mathrm{10.20.9})$
这个用的是${\beta }_t(i)$和${\beta }_{t+1}(j)$的递推，与公式保持一致
(10.20.5)-(10.20.6)用到的是齐次马尔科夫性假设，(10.20.6)-(10.20.7)用到的是观测独立性假设。
（3）终止：
$$P(O|\lambda )=\sum _{i=1}^Q{\pi }_i{b}_i(o_1){\beta }_1(i)----(10.21)$$
(10.21)推导
$P(O|\lambda )----(\mathrm{10.21.1})$
$=P(o_1,o_2,\cdot \cdot \cdot ,o_T|\lambda )----(\mathrm{10.21.2})$
$={\sum }_N^{i=1}P(o_1,o_2,\cdot \cdot \cdot ,o_T,s_1=q_i|\lambda )----(\mathrm{10.21.3})$
$={\sum }_N^{i=1}P(o_1|o_2,o_3,\cdot \cdot \cdot ,o_T,s_1=q_i,\lambda )P(o_2,o_3,\cdot \cdot \cdot ,o_T,s_1=q_i|\lambda )----(\mathrm{10.21.4})$
$={\sum }_N^{i=1}P(o_1|s_1=q_i,\lambda )P(o_2,o_3,\cdot \cdot \cdot ,o_T,s_1=q_i|\lambda )----(\mathrm{10.21.5})$
$={\sum }_N^{i=1}{b}_i(o_1)P(o_2,o_3,\cdot \cdot \cdot ,o_T,s_1=q_i|\lambda )----(\mathrm{10.21.6})$
$={\sum }_N^{i=1}{b}_i(o_1)P(o_2,o_3,\cdot \cdot \cdot ,o_T|s_1=q_i,\lambda )P(s_1=q_i|\lambda )----(\mathrm{10.21.7})$
$={\sum }_N^{i=1}{\pi }_i{b}_i(o_1){\beta }_1(i)----(\mathrm{10.21.8})$
这里(10.21.4)-(10.21.5)用到了观测独立性假设
同样的继续画一张后向算法的图，感受一下上面公式的意思：

用这张图再来看一下后向算法的时间复杂度
现在你会发现后向算法是不是和前向算法一样，都是每次迭代都可以用到上一步的计算结果，使得计算大大的简化，这里后向算法的时间复杂度还是$O(T{N}^2)$，这里就不赘述了，可以参考前向算法。

10.2.3 对前向算法和后向算法的统一进行的补充

1. 前向概率
   $$P(O|\lambda )=\sum _{i=1}^N{\alpha }_T(i)$$
2. 后向概率
   $$P(O|\lambda )=\sum _Q^{i=1}{\pi }_i{b}_i(o_1){\beta }_1(i)$$
3. 结合
   $$P(O|\lambda )=\sum _{i=1}^N\sum _{j=1}^N{\alpha }_t(i)a_{ij}{b}_j(o_{t+1}){\beta }_{t+1}(j),t=1,2,\cdot \cdot \cdot ,T-1----（10.22）$$
   （10.22）推导
   （1）当 t = 1 时：
   $P(O|\lambda )----（\mathrm{10.22.1.1}）$
   $={\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_1(i)a_{ij}{b}_j(o_2){\beta }_2(j)----（\mathrm{10.22.1.2}）$
   $={\sum }_{i=1}^N{\pi }_i{\beta }_1(i)----（\mathrm{10.22.1.3}）$
   这里(10.22.1.2)-(10.22.1.3)用到了后向算法的递推公式可以直接得到，所以当 t = 1 时，这个就是后向算法。
   （2）当t = T-1时：
   $P(O|\lambda )----（\mathrm{10.22.2.1}）$
   $={\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_{T-1}(i)a_{ij}{b}_j(o_T){\beta }_T(j)----（\mathrm{10.22.2.2}）$
   $={\sum }_{j=1}^N\left[{\sum }_{i=1}^N{\alpha }_{T-1}(i)a_{ij}\right]b_j(o_T)----（\mathrm{10.22.2.3}）$
   $={\sum }_{j=1}^N{\alpha }_T(j)----（\mathrm{10.22.2.4}）$
   这里(10.22.2.2)-(10.22.2.3)中${\beta }_T(j)=1$，所以当 t = T - 1 时，这个就是前向算法。
4. 前向-后向算法的继续推导
   $P(O|\lambda )$
   $={\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_t(i)a_{ij}{b}_j(o_{t+1}){\beta }_{t+1}(j)$
   $={\sum }_{j=1}^N\left[{\sum }_{i=1}^N{\alpha }_t(i)a_{ij}\right]b_j(o_{t+1}){\beta }_{t+1}(j)$
   $={\sum }_{j=1}^N{\alpha }_{t+1}(j){\beta }_{t+1}(j)$
   $={\sum }_{j=1}^{N}P(O,s_t=q_j|\lambda )$

10.2.4 一些概率与期望值的计算

利用前向概率和后向概率，可以得到关于单个状态和两个状态概率的计算公式。

1. 给定模型参数 λ 和观测O，在时刻 t 处于状态$q_i$的概率，记
   $${\gamma }_t(i)=P(s_i=q_i|O,\lambda )=\frac{P(s_i=q_i,O|\lambda )}{P(O|\lambda )}----(10.23)$$
   由前向概率和后向概率定义可知：
   $${\alpha }_t(i){\beta }_t(i)=P(s_t=q_i,O|\lambda )$$
   上面这个公式是怎么推导的呢？
   （1）前向概率
   $${\alpha }_t(i)=P(o_1,o_2,\cdot \cdot \cdot ,o_t,s_t=q_i|\lambda )$$
   （2）后向概率
   $${\beta }_t(i)=P(o_{t+1},o_{t+2},\cdot \cdot \cdot ,o_T|s_t=q_i,\lambda )$$
   （3）推导
   ${\alpha }_t(i){\beta }_t(i)$
   $=P(o_1,o_2,\cdot \cdot \cdot ,o_t,s_t=q_i|\lambda )P(o_{t+1},o_{t+2},\cdot \cdot \cdot ,o_T,s_t=q_i|s_t=q_i,\lambda )$
   $=P(o_1,o_2,\cdot \cdot \cdot ,o_t,s_t=q_i|\lambda )P(o_{t+1},o_{t+2},\cdot \cdot \cdot ,o_T,s_t=q_i|o_1,o_2,\cdot \cdot \cdot ,o_t,s_t=q_i,\lambda )$
   $=P(s_t=q_i,o_1,o_2,\cdot \cdot \cdot ,o_T|\lambda )$
   $=P(s_t=q_i,O|\lambda )$
   最终得到：
   $${\gamma }_t(i)=\frac{{\alpha }_t(i){\beta }_t(i)}{P(O|\lambda )}=\frac{{\alpha }_t(i){\beta }_t(i)}{{\sum }_{j=1}^N{\alpha }_t(j){\beta }_t(j)}----(10.24)$$

2. 给定模型参数 λ 和观测 O，在时刻 t 处于状态$q_i$且在时刻 t+1 处于状态$q_j$的概率，记
   $${\xi }_t(i,j)=P(s_t=q_i,s_{t+1}=q_j|O,\lambda )----(10.25)$$
   可以通过前后向概率计算：
   $${\xi }_t(i,j)=\frac{P(s_t=q_i,s_{t+1}=q_j|O,\lambda )}{P(O|\lambda )}=\frac{P(s_t=q_i,s_{t+1}=q_j,O|\lambda )}{{\sum }_{i=1}^N{\sum }_{j=1}^{N}P(s_t=q_i,s_{t+1}=q_j,O|\lambda )}$$
   而
   $$P(s_t=q_i,s_{t+1}=q_j,O|\lambda )={\alpha }_t(i)a_{ij}{b}_j(o_{t+1}){\beta }_{t+1}(j)$$
   所以
   $${\xi }_t(i,j)=\frac{{\alpha }_t(i)a_{ij}{b}_j(o_{t+1}){\beta }_{t+1}(j)}{{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_t(i)a_{ij}{b}_j(o_{t+1}){\beta }_{t+1}(j)}----(10.26)$$

3. 将${\gamma }_t(i)$和${\xi }_t(i,j)$对各个时刻 t 求和，可以得到一些有用的期望值。
   （1）在观测 O 下状态 i 出现的期望值：
   $$\sum _{t=1}^T{\gamma }_t(i)----(10.27)$$
   （2）在观测 O 下状态 i 转移的期望值：
   $$\sum _{t=1}^{T-1}{\gamma }_t(i)----(10.28)$$
   （3）在观测 O 下由状态 i 转移到状态 j 的期望值：
   $$\sum _{t=1}^{T-1}{\xi }_t(i,j)----(10.29)$$

参考文献

以下是HMM系列文章的参考文献：

1. 李航——《统计学习方法》
2. YouTube——shuhuai008的视频课程HMM
3. YouTube——徐亦达机器学习HMM、EM
4. *[https://www.huaxiaozhuan.com/%E7%BB%9F%E8%AE%A1%E5%AD%A6%E4%B9%A0/chapters/15_HMM.html]：隐马尔可夫模型
5. [https://sm1les.com/2019/04/10/hidden-markov-model/]：隐马尔可夫模型（HMM）及其三个基本问题
6. 例子可以看这个[https://www.cnblogs.com/skyme/p/4651331.html]：一文搞懂HMM（隐马尔可夫模型）
7. [https://www.zhihu.com/question/55974064]：南屏晚钟的解答

感谢以上作者对本文的贡献，如有侵权联系后删除相应内容。