【10.1算法理论部分（3）学习问题（Baum-Welch算法）】Hidden Markov Algorithm——李航《统计学习方法》公式推导

10.3学习问题（解决Learining：${\lambda }_{MLE}=argma{x}_{\lambda }P(O|\lambda )$）

10.3.1 监督学习方法

假设已给出训练数据包含 S 个长度相同的观测序列和对应的状态序列$(O_1,I_1),(O_2,I_2),\cdot \cdot \cdot ,(O_T,I_T)$，那么可以利用极大似然估计法来估计隐马尔可夫模型的参数，具体方法如下：

1. 转移概率$a_{ij}$的估计：
   $$a_{ij}=\frac{A_{ij}}{{\sum }_{j=1}^N{A}_{ij}}----(10.30)$$
   其中，$A_{ij}$为样本中时刻 t 处于状态$q_i$而到时刻t+1转移到状态$q_j$的频数；
2. 观测概率$b_j(k)$的估计：
   $$b_{jk}=\frac{B_{jk}}{{\sum }_{k=1}^M{A}_{jk}}----(10.31)$$
   其中，$B_{jk}$为样本中状态为$q_j$，其对应观测为$v_k$的频数；
3. 初始状态概率${\pi }_i$的估计为 S 个样本中初始状态为$q_i$的频率。

显然此训练数据中的状态序列数据通常是需要人工标注出来的，因此代价较高，所以非监督学习的方法更为实用，例如Baum-Welch算法。

10.3.2 Baum-Welch算法

如果只有观测序列数据$O=(o_1,o_2,\cdot \cdot \cdot ,o_T)$，而没有状态序列数据 $S=(s_1,s_2,\cdot \cdot \cdot ,s_T)$，那么隐马尔可夫模型就是一个含有隐变量的概率模型：
$$P(O|\lambda )=\sum _{S}P(O|I,\lambda )P(I|\lambda )----(10.32)$$
如果要对它进行参数估计，则可以采用EM算法来实现，具体步骤如下：

1. 确定完全数据的对数似然函数
   此时观测数据为$O=(o_1,o_2,\cdot \cdot \cdot ,o_T)$，未观测数据为$S=(s_1,s_2,\cdot \cdot \cdot ,s_T)$，则完全数据为$(O,I)=(o_1,o_2,\cdot \cdot \cdot ,o_T,s_1,s_2,\cdot \cdot \cdot ,s_T)$，完全数据的对数似然函数为：
   $$logP(O,I|\lambda )$$
   其中，$P(O,I|\lambda )={\pi }_{s_1}{b}_{s_1}(o_1)a_{s_1{s}_2}{b}_{s_2}(o_2)\cdot \cdot \cdot a_{s_{T-1}{s}_T}{b}_{s_T}(o_T)$，所以可以进一步推得：
   $logP(O,I|\lambda )$
   $=log({\pi }_{s_1}{b}_{s_1}(o_1)a_{s_1{s}_2}{b}_{s_2}(o_2)\cdot \cdot \cdot a_{s_{T-1}{s}_T}{b}_{s_T}(o_T))$
   $=log{\pi }_{s_1}+{\sum }_{t=1}^{T-1}ln{a}_{s_t{s}_{t+1}}+{\sum }_{t=1}^{T}ln{b}_{s_t}(o_t)----(10.33\ast )$

2. EM算法E步：求Q函数$Q(\lambda ,{\lambda }^{(t)})$
   $$Q(\lambda ,{\lambda }^{(t)})=\sum _{S}P(O,S|{\lambda }^{(t)})logP(O,S|\lambda )----(10.33)$$
   其中，${\lambda }^{(t)}$是隐马尔可夫模型参数的当前估计值，λ 是要极大化的隐马尔可夫模型参数。为了便于后续计算，Q 函数还可以作如下恒等变形，将(10.33*)代入：
   $$Q(\lambda ,{\lambda }^{(t)})=\sum _{S}P(O,S|{\lambda }^{(t)})log{\pi }_{s_1}+\sum _{S}P(O,S|{\lambda }^{(t)})\sum _{t=1}^{T-1}log{a}_{s_t{s}_{t+1}}+\sum _{S}P(O,S|{\lambda }^{(t)})\sum _{t=1}^{T}log{b}_{s_t}(o_t)----(10.34)$$

3. EM算法的M步：极大化Q函数$Q(\lambda ,{\lambda }^{(t)})$求模型参数$A,B,\pi$
   （1）只有式（10.34）的第1项含有${\pi }_{s_i}$,根据第一项对参数$\pi$进行求最大化，更新$\pi$的值，具体推导如下：
   ${\pi }^{(t+1)}=argma{x}_{\pi }Q(\lambda ,{\lambda }^{(t)})$
   $=argma{x}_{\pi }{\sum }_{S}P(O,S|{\lambda }^{(t)})log{\pi }_{s_1}$
   $=argma{x}_{\pi }{\sum }_{q_1}{\sum }_{q_2}\cdot \cdot \cdot {\sum }_{q_T}P(O,s_1=q_1,s_2=q_2,\cdot \cdot \cdot ,s_T=q_T,|{\lambda }^{(t)})log{\pi }_{s_1}$
   $=argma{x}_{\pi }{\sum }_{q_1}P(O,s_1=q_1|{\lambda }^{(t)})log{\pi }_{s_1}$
   $=argma{x}_{\pi }{\sum }_{i=1}^{N}P(O,s_1=q_i|{\lambda }^{(t)})log{\pi }_i$
   (这里隐含了一个约束 $s.t.{\sum }_{i=1}^N{\pi }_i=1$)
   利用拉格朗日乘子法，进行后续计算，先构造$\delta (\pi ,{\eta }_1)$：
   $$\delta (\pi ,\eta )=\sum _{i=1}^{N}P(O,s_1=q_i|{\lambda }^{(t)})log{\pi }_i+{\eta }_1(\sum _{i=1}^N\pi -1)$$
   对${\pi }_i$求偏导，令其为0：
   $$\frac{\partial \delta }{\partial {\pi }_i}=\frac{1}{{\pi }_i}P(O,s_1=q_i|{\lambda }^{(t)})+{\eta }_1=0----(10.35)$$
   $$P(O,s_1=q_i|{\lambda }^{(t)})+{\eta }_1{\pi }_i=0$$
   因为${\sum }_{i=1}^N{\pi }_i=1$，对两边求和：
   $$\sum _{i=1}^N\left[P(O,s_1=q_i|{\lambda }^{(t)})+{\eta }_1{\pi }_i\right]=0$$
   $$\sum _{i=1}^{N}P(O,s_1=q_i|{\lambda }^{(t)})+\sum _{i=1}^N{\eta }_1{\pi }_i=0$$
   $$P(O|{\lambda }^{(t)})+{\eta }_1=0$$
   $${\eta }_1=-P(O|{\lambda }^{(t)})----(10.35\ast )$$
   将(10.35*)代入(10.35)：
   $$\frac{1}{{\pi }_i}P(O,s_1=q_i|{\lambda }^{(t)})-P(O|{\lambda }^{(t)})=0$$
   $${\pi }_i=\frac{P(O,s_1=q_i|{\lambda }^{(t)})}{P(O|{\lambda }^{(t)})}----(10.36)$$
   由于${\pi }^{(t+1)}=argma{x}_{\pi }Q(\lambda ,{\lambda }^{(t)})$，所以得到更新后的${\pi }^{(t+1)}$：
   $${\pi }^{(t+1)}=\frac{P(O,s_1=q_i|{\lambda }^{(t)})}{P(O|{\lambda }^{(t)})}$$
   最终更新得到整个初始概率向量 $\pi$：
   $${\pi }^{(t+1)}=({\pi }_1^{(t+1)},{\pi }_2^{(t+1)},\cdot \cdot \cdot ,{\pi }_N^{(t+1)})$$

（2）只有式（10.34）的第2项含有$a_{ij}$,根据第二项对参数$a_{ij}$进行求最大化，更新$a_{ij}$的值，具体推导如下：
$a_{ij}^{t+1}=argma{x}_{a_{ij}}Q(\lambda ,{\lambda }^{(t)})$
$=argma{x}_{a_{ij}}{\sum }_{S}P(O,S|{\lambda }^{(t)}){\sum }_{t=1}^{T-1}log{a}_{s_t{s}_{t+1}}$
$=argma{x}_{a_{ij}}{\sum }_{q_1}{\sum }_{q_2}\cdot \cdot \cdot {\sum }_{q_T}P(O,s_1=q_1,s_2=q_2,\cdot \cdot \cdot ,s_T=q_T|{\lambda }^{(t)}){\sum }_{t=1}^{T-1}log{a}_{s_t{s}_{t+1}}$
$=argma{x}_{a_{ij}}{\sum }_{q_t}{\sum }_{q_{t+1}}P(O,s_t=q_t,s_{t+1}=q_{t+1}|{\lambda }^{(t)}){\sum }_{t=1}^{T-1}log{a}_{s_t{s}_{t+1}}$
$=argma{x}_{a_{ij}}{\sum }_{i=1}^N{\sum }_{j=1}^N{\sum }_{t=1}^{T-1}P(O,s_t=q_i,s_{t+1}=q_j|{\lambda }^{(t)}){\sum }_{t=1}^{T-1}log{a}_{ij}$
(这里隐含了一个约束 $s.t.{\sum }_{i=1}^N{a}_{ij}=1$)
利用拉格朗日乘子法，进行后续计算，先构造$\delta (a_{ij},{\eta }_2)$：
$$\delta (a_{ij},\eta )=\sum _{i=1}^N\sum _{j=1}^N\sum _{t=1}^{T-1}P(O,s_t=q_i,s_{t+1}=q_j|{\lambda }^{(t)})\sum _{t=1}^{T-1}log{a}_{ij}+{\eta }_2(\sum _{i=1}^N{a}_{ij}-1)$$
对$a_{ij}$求偏导，令其为0：
$$\frac{\partial \delta }{\partial a_{ij}}=\frac{1}{a_{ij}}\sum _{t=1}^{T-1}P(O,s_t=q_i,s_{t+1}=q_j|{\lambda }^{(t)})+{\eta }_2=0----(10.37)$$
$$\sum _{t=1}^{T-1}P(O,s_t=q_i,s_{t+1}=q_j|{\lambda }^{(t)})+{\eta }_2{a}_{ij}=0$$
因为${\sum }_{j=1}^N{a}_{ij}=1$，对两边求和：
$$\sum _{j=1}^N\left[\sum _{t=1}^{T-1}P(O,s_t=q_i,s_{t+1}=q_j|{\lambda }^{(t)})+{\eta }_2{a}_{ij}\right]=0$$
$$\sum _{j=1}^N\sum _{t=1}^{T-1}P(O,s_t=q_i,s_{t+1}=q_j|{\lambda }^{(t)})+\sum _{j=1}^N{\eta }_2{a}_{ij}=0$$
$$\sum _{t=1}^{T-1}P(O,s_t=q_i|{\lambda }^{(t)})+{\eta }_2=0$$
$${\eta }_2=-\sum _{t=1}^{T-1}P(O,s_t=q_i|{\lambda }^{(t)})----(10.37\ast )$$
将(10.37*)代入(10.37)：
$$\frac{1}{a_{ij}}\sum _{t=1}^{T-1}P(O,s_t=q_i,s_{t+1}=q_j|{\lambda }^{(t)})=\sum _{t=1}^{T-1}P(O,s_t=q_i|{\lambda }^{(t)})$$
$$a_{ij}=\frac{{\sum }_{t=1}^{T-1}P(O,s_t=q_i,s_{t+1}=q_j|{\lambda }^{(t)})}{{\sum }_{t=1}^{T-1}P(O,s_t=q_i|{\lambda }^{(t)})}$$
由于$a_{ij}^{(t+1)}=argma{x}_{a_{ij}}Q(\lambda ,{\lambda }^{(t)})$，所以得到更新后的$a_{ij}^{(t+1)}$：
$$a_{ij}^{(t+1)}=\frac{{\sum }_{t=1}^{T-1}P(O,s_t=q_i,s_{t+1}=q_j|{\lambda }^{(t)})}{{\sum }_{t=1}^{T-1}P(O,s_t=q_i|{\lambda }^{(t)})}$$
最终更新得到整个状态转移矩阵 A：
$$A^{(t+1)}={\left\{a_{ij}^{(t+1)}\right\}}_{N\ast N}$$

（3）只有式（10.34）的第3项含有$b_j(k)$,根据第三项对参数$b_j(k)$进行求最大化，更新$b_j(k)$的值，具体推导如下：
$b_j(k{)}^{(t+1)}=argma{x}_{b_j(k)}Q(\lambda ,{\lambda }^{(t)})$
$=argma{x}_{b_j(k)}{\sum }_{S}P(O,S|{\lambda }^{(t)}){\sum }_{t=1}^{T}log{b}_{s_t}(o_t)$
$=argma{x}_{b_j(k)}{\sum }_{q_1}{\sum }_{q_2}\cdot \cdot \cdot {\sum }_{q_T}P(O,s_1=q_1,s_2=q_2,\cdot \cdot \cdot ,s_T=q_T|{\lambda }^{(t)}){\sum }_{t=1}^{T-1}log{b}_{s_t}(o_t)$
$=argma{x}_{b_j(k)}{\sum }_{q_j}P(O,s_t=q_j|{\lambda }^{(t)}){\sum }_{t=1}^{T-1}log{b}_{s_t}(o_t)$
$=argma{x}_{b_j(k)}{\sum }_{j=1}^N{\sum }_{t=1}^{T}P(O,s_t=q_j|{\lambda }^{(t)})log{b}_{s_t}(o_t)----(10.38\ast )$
写到这你可能有疑问，就是明明在推导$b_j(k)$，但是现在就只有$b_{s_t}(o_t)$，k在哪呢？
其实这里可以考虑一个问题，就是说因为观测序列是给定的，所以只有一个观测是正确的，也就是说$o_t$是给定的，但是对于一个时刻下处于摸一个状态可以观测的所有观测值的概率和为 1，也就是说${\sum }_{k=1}^M{b}_{s_t}(k)$ ,这里就要引入一个指示函数$I(o_t=v_k)$，这里只有在$o_t=v_k$的时候$I(o_t=v_k)=1$，其他情况$I(o_t=v_k)=0$，所以这个时候可以把$b_{s_t}(o_t)$换成$b_j(k)I(o_t=v_k)$（这里状态$s_t$换成状态$q_j$；剩下的状态可以用指示函数替换，这里要停下来好好想一下），这样再看(10.38*)，就可以改成以下形式:
$b_j(k{)}^{(t+1)}=argma{x}_{b_j(k)}{\sum }_{j=1}^N{\sum }_{t=1}^{T}P(O,s_t=q_j|{\lambda }^{(t)})log{b}_j(k)I(o_t=v_k)----(10.38\ast \ast )$
(现在就可以加入这个约束 $s.t.{\sum }_{k=1}^M{b}_j(k)=1$)
利用拉格朗日乘子法，进行后续计算，先构造$\delta (b_j(k),{\eta }_3)$：
$$\delta (b_j(k),\eta )=\sum _{j=1}^N\sum _{t=1}^{T}P(O,s_t=q_j|{\lambda }^{(t)})log{b}_j(k)I(o_t=v_k)+{\eta }_3(\sum _{i=1}^N{b}_j(k)-1)$$
对$b_j(k)$求偏导，令其为0：
$$\frac{\partial \delta }{\partial b_j(k)}=\frac{1}{b_j(k)}\sum _{j=1}^N\sum _{t=1}^{T}P(O,s_t=q_j|{\lambda }^{(t)})I(o_t=v_k)+{\eta }_3=0----(10.38)$$
$$\sum _{j=1}^{N}P(O,s_t=q_j|{\lambda }^{(t)})+{\eta }_3{b}_j(k)=0$$
因为${\sum }_{j=1}^N{b}_j(k)=1$，对两边求和：
$$\sum _{k=1}^M\left[\sum _{j=1}^{N}P(O,s_t=q_j|{\lambda }^{(t)})I(o_t=v_k)+{\eta }_3{b}_j(k)\right]=0$$
$$\sum _{k=1}^M\sum _{j=1}^{N}P(O,s_t=q_j|{\lambda }^{(t)})I(o_t=v_k)+\sum _{j=1}^N{\eta }_3{b}_j(k)=0$$
$$\sum _{j=1}^{N}P(O,s_t=q_i|{\lambda }^{(t)})+{\eta }_3=0$$
$${\eta }_3=-\sum _{j=1}^{N}P(O,s_t=q_i|{\lambda }^{(t)})----(10.38\ast \ast \ast )$$
将(10.38***)代入(10.38)：
$$\frac{1}{b_j(k)}\sum _{j=1}^{N}P(O,s_t=q_j|{\lambda }^{(t)})I(o_t=v_k)=\sum _{j=1}^{N}P(O,s_t=q_i|{\lambda }^{(t)})$$
$$b_j(k)=\frac{{\sum }_{j=1}^{N}P(O,s_t=q_j|{\lambda }^{(t)})I(o_t=v_k)}{{\sum }_{j=1}^{N}P(O,s_t=q_i|{\lambda }^{(t)})}$$
由于$b_j(k{)}^{(t+1)}=argma{x}_{b_j(k)}Q(\lambda ,{\lambda }^{(t)})$，所以得到更新后的$b_j(k{)}^{(t+1)}$：
$$b_j(k{)}^{(t+1)}=\frac{{\sum }_{j=1}^{N}P(O,s_t=q_j|{\lambda }^{(t)})I(o_t=v_k)}{{\sum }_{j=1}^{N}P(O,s_t=q_i|{\lambda }^{(t)})}$$
最终更新得到整个观测概率矩阵 B：
$$B_j^{(t+1)}(k)={\left\{b_j^{(t+1)}(k)\right\}}_{N\ast M}$$

10.3.3Baum-Welch模型模型参数估计公式

将式(10.36)~式(10.38)中的各概率分别用${\gamma }_t(i),{\xi }_t(i,j)$表示，则可将相应的公式写成：
（1）对于$a_{ij}$：
$$a_{ij}=\frac{{\sum }_{t=1}^{T-1}{\xi }_t(i,j)}{{\sum }_{t=1}^{T-1}{\gamma }_t(i)}-----(10.39)$$
$$a_{ij}=\frac{{\sum }_{t=1}^{T-1}P(O,s_t=q_i,s_{t+1}=q_j|{\lambda }^{(t)})}{{\sum }_{t=1}^{T-1}P(O,s_t=q_i|{\lambda }^{(t)})}-----(10.39\ast )$$
(10.39*)是给(10.39)用作对比参考

（2）对于$b_j(k)$：
$$b_j(k)=\frac{{\sum }_{t=1,o_t=v_k}^T{\gamma }_t(j)}{{\sum }_{t=1}^T{\gamma }_t(j)}----(10.40)$$
$$b_j(k{)}^{(t+1)}=\frac{{\sum }_{j=1}^{N}P(O,s_t=q_j|{\lambda }^{(t)})I(o_t=v_k)}{{\sum }_{j=1}^{N}P(O,s_t=q_i|{\lambda }^{(t)})}----(10.40\ast )$$
(10.40*)是给(10.40)用作对比参考

（3）对于${\pi }_i$：
$${\pi }_i={\gamma }_1(i)----(10.41)$$
$${\pi }_i=\frac{P(O,s_1=q_i|{\lambda }^{(t)})}{P(O|{\lambda }^{(t)})}----(10.41\ast )$$
(10.41*)是给(10.41)用作对比参考

（4）对${\gamma }_t(i)$和${\xi }_t(i,j)$做一个总结：
$${\gamma }_t(i)=\frac{P(O,s_t=q_i|{\lambda }^{(t)})}{P(O|{\lambda }^{(t)})}$$
$${\xi }_t(i,j)=\frac{P(O,s_t=q_i,s_{t+1}=q_j|{\lambda }^{(t)})}{P(O|{\lambda }^{(t)})}$$
这才是${\gamma }_t(i)$和${\xi }_t(i,j)$真正的样子

算法10.4（Baum-Welch算法）
输入：观测数据 $O=(o_1,o_2,\cdot \cdot \cdot ,o_T)$
输出：HMM的模型参数$\lambda$
（1）初始化。对n = 0，选取$a_{ij}^{(0)},b_j(k{)}^{(0)},{\pi }_i^{(0)}$,得到模型${\lambda }^{(0)}=(A^{(0)},B^{(0)},{\pi }^{(0)})$.
（2）递推。对$n=1,2,\cdot \cdot \cdot ,$
$$a_{ij}^{(n+1)}=\frac{{\sum }_{t=1}^{T-1}{\xi }_t(i,j)}{{\sum }_{t=1}^{T-1}{\gamma }_t(i)}$$
$$b_j(k{)}^{(n+1)}=\frac{{\sum }_{t=1,o_t=v_k}^T{\gamma }_t(j)}{{\sum }_{t+1}^T{\gamma }_t(j)}$$
$${\pi }_i^{(t+1)}={\gamma }_1(i)$$
（3）终止。得到模型参数${\lambda }^{(n+1)}=(a_{ij}^{(n+1)},b_j(k{)}^{(n+1)},{\pi }_i^{(t+1)})$.

参考文献

以下是HMM系列文章的参考文献：

1. 李航——《统计学习方法》
2. YouTube——shuhuai008的视频课程HMM
3. YouTube——徐亦达机器学习HMM、EM
4. *[https://www.huaxiaozhuan.com/%E7%BB%9F%E8%AE%A1%E5%AD%A6%E4%B9%A0/chapters/15_HMM.html]：隐马尔可夫模型
5. [https://sm1les.com/2019/04/10/hidden-markov-model/]：隐马尔可夫模型（HMM）及其三个基本问题
6. 例子可以看这个[https://www.cnblogs.com/skyme/p/4651331.html]：一文搞懂HMM（隐马尔可夫模型）
7. [https://www.zhihu.com/question/55974064]：南屏晚钟的解答

感谢以上作者对本文的贡献，如有侵权联系后删除相应内容。