HMM与CRF笔记

本文为阅读李航的《统计学习方法》和周志华的西瓜书后，对HMM与CRF的学习笔记，方便日后可回顾完此文即可在面试中回答诸如“简单介绍下CRF”，“HMM是如何训练的”等问题.

隐马尔可夫模型-HMM

模型定义

3个重点：图结构、变量的依赖性假设、参数化（基本符号与三要素）

HMM的图结构如下：

HMM的假设：

• 齐次马尔可夫性假设：隐藏的马尔可夫链在任意时刻的状态只依赖于其前一时刻的状态，与其他时刻的状态和观测无关.

• 观测独立性假设：任意时刻的观测仅依赖于该时刻的马尔可夫链的状态，与其他状态以及观测无关.

设 $Y=(y_1,y_2,...,y_T)$是长度为 $T$ 的状态序列，$X=(x_1,x_2,...,x_T)$ 是对应的观测序列.

设$Q$为状态变量的所有取值的集合，即$y_i\in Q=\{q_1,q_2,...,q_N\}$，$N$是状态的取值个数.

设$V$为观测变量的所有取值的集合，即$x_i\in V=\{v_1,v_2,...,v_M\}$，$M$是观测的取值个数.

HMM的三要素 $A,B,\pi$，可记为三元组$\lambda =(A,B,\pi )$.

1、矩阵$A_{N\times N}$为状态转移概率矩阵，其中的元素$a_{ij}$表示在任意时刻$t$从状态值$q_i$转移到状态值$q_j$的概率.

2、$\pi$为初始状态$y_1$的分布，${\pi }_i=P(y_1=q_i),1\le i\le N$

3、矩阵$B_{N\times M}$为输出观测概率矩阵，每一行是一个概率分布，其中 $b_{ij}=P(x_t=v_j|y_t=q_i),1\le i\le N,1\le j\le M$，表示在任意时刻 $t$ ，若状态值为$q_i$，则得到观测值$v_j$的概率.

注：
1、 $A$ 与 $\pi$ 一起用于对状态变量 $Y$ 构成的马尔可夫链进行建模（即上图中的$y_t$和向右的箭头）;
2、$B$ 用于对条件分布 $b_i(x_t)=P(x_t|y_t=q_i),1\le i\le N$ 进行建模（即上图中的 $x_t,y_t$ 和向下的箭头）.

训练方法

实际应用时常使用无监督的训练方法——Baum-Welch算法，这是EM算法在HMM模型中的具体应用.

1、前向概率和后向概率

（1）给定隐马尔可夫模型$\lambda$，定义到时刻 $t$ 部分观测序列为$(x_1,x_2,...,x_t)$且在时刻 $t$ 的状态$y_t=q_i$的概率为前向概率，记作：

$${\alpha }_t(i)=P(x_1,x_2,...x_t,y_t=q_i|\lambda )\text{\hspace{1em}(1)}$$

（2）给定隐马尔可夫模型$\lambda$，定义在时刻 $t$ 的状态$y_t=q_i$ 的条件下，从 $t+1$ 到 $T$ 的部分观测序列为 $\{x_{t+1},x_{t+2},...,x_T\}$ 的概率为后向概率，记作：

$${\beta }_t(i)=P(x_{t+1},x_{t+2},...,x_T|y_t=q_i,\lambda )\text{\hspace{1em}(2)}$$

由上述定义可知：

$$P(y_t=q_i,X|\lambda )={\alpha }_t(i){\beta }_t(i)\text{\hspace{1em}(3)}$$

并且：

$$P(y_t=q_i,y_{t+1}=q_j,X|\lambda )={\alpha }_t(i)a_{ij}{b}_j(x_{t+1}){\beta }_{t+1}(j)\text{\hspace{1em}(4)}$$

注：$a_{ij}$ 和 $b_j(x_{t+1})$的含义见《模型定义》一节

2、单个状态概率和两个状态概率

（1）给定模型 $\lambda$ 和观测 $X$ ，在时刻 $t$ 处于状态 $q_i$ 的概率记为：

$${\gamma }_t(i)=P(y_t=q_i|X,\lambda )\text{\hspace{1em}(5)}$$

代入式子$(3)$有，

$${\gamma }_t(i)=\frac{P(y_t=q_i,X|\lambda )}{P(X|\lambda )}=\frac{P(y_t=q_i,X|\lambda )}{{\sum }_{j=1}^{N}P(y_t=q_j,X|\lambda )}=\frac{{\alpha }_t(i){\beta }_t(i)}{{\sum }_{j=1}^N{\alpha }_t(j){\beta }_t(j)}\text{\hspace{1em}(6)}$$

（2）给定模型 $\lambda$ 和观测 $X$ ，在时刻 $t$ 处于状态 $q_i$ 且在时刻 $t+1$ 处于状态 $q_j$的概率记为：

$${\xi }_t(i,j)=P(y_t=q_i,y_{t+1}=q_j|X,\lambda )\text{\hspace{1em}(7)}$$

带入式子$(4)$有，

$$\begin{array}{rl}{\xi }_t(i,j)& =\frac{P(y_t=q_i,y_{t+1}=q_j,X|\lambda )}{P(X|\lambda )}\\ & =\frac{P(y_t=q_i,y_{t+1}=q_j,X|\lambda )}{{\sum }_{i=1}^N{\sum }_{j=1}^{N}P(y_t=q_i,y_{t+1}=q_j,X|\lambda )}\\ & =\frac{{\alpha }_t(i)a_{ij}{b}_j(x_{t+1}){\beta }_{t+1}(j)}{{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_t(i)a_{ij}{b}_j(x_{t+1}){\beta }_{t+1}(j)}\end{array}\text{\hspace{1em}(8)}$$

3、Baum-Welch算法运行过程

输入：观测数据 $X=(x_1,x_2,...,x_T)$

输出：HMM参数 $\lambda$

（1）初始化

对 $n=0$，选取 $a_{ij}^{(0)}$，$b_j(k{)}^{(0)}$，${\pi }_i^{(0)}$，得到模型 ${\lambda }^{(0)}=(A^{(0)},B^{(0)},{\pi }^{(0)})$.

（2）递推，对 $n=1,2,...,$

$$a_{ij}^{n+1}=\frac{{\sum }_{t=1}^{T-1}{\xi }_t(i,j)}{{\sum }_{t=1}^{T-1}{\gamma }_t(i)}\text{\hspace{1em}(9)}$$

$$b_j(k{)}^{(n+1)}=\frac{{\sum }_{t=1,x_t=v_k}^T{\gamma }_t(j)}{{\sum }_{t=1}^T{\gamma }_t(j)}\text{\hspace{1em}(10)}$$

$${\pi }_i^{(n+1)}={\gamma }_1(i)\text{\hspace{1em}(11)}$$

式子$(9),(10),(11)$的等号右端使用观测 $X$ 和第 $n$ 步的模型 ${\lambda }^{(n)}=(A^{(n)},B^{(n)},{\pi }^{(n)})$ 来计算

（3）终止，得到 ${\lambda }^{(0)}=(A^{(n+1)},B^{(n+1)},{\pi }^{(n+1)})$.

预测方法

预测指的是给定模型 $\lambda =(A,B,\pi )$ 和观测序列 $X=(x_1,x_2,...,x_T)$，求最有可能的状态序列 $Y^{\ast }=(y_1^{\ast },y_2^{\ast },...,y_T^{\ast })$ 使得条件概率 $P(Y|X)$ 最大化.

一般情况下使用维特比算法来进行预测. 维特比算法中，将一个状态序列 $(y_1,y_2,...,y_T)$ 称为一个路径，部分路径指的是状态序列的子串，即其中的状态在时间上是连续的，如 $(y_1,y_2,y_3)$是一个部分路径. 一个路径中的状态变量有不同取值，对应了不同的路径概率.

维特比算法使用动态规划来求解HMM的预测问题，即用动态规划求概率最大的路径（最优路径）. 和 DP 解决很多问题的过程类似，维特比算法先找到最优子结构性质，并定义了一个数组用于递推，另一个数组用于记录辅助信息，经过初始化、递推后得到最优路径的概率，但最后还需要回溯才能得到具体的最优解.

HMM预测问题的最优子结构性质体现在，最优路径的部分路径也是最优的，否则，将一条更优的部分路径替换掉原来的部分路径，则能得到一条更优的解，这是矛盾的.

设观测序列长度为 $T$，则可以使用一个 $T\times N$ 的二维DP数组来解本问题。当然，可以将空间优化为一个长度为 $T$ 的一维数组. 下面用二维数组来解释。

假设第一个二维数组元素为 ${\delta }_{t,i}$，$1\le t\le T,1\le i\le N$，表示在时刻 $t$ 状态变量 $y_t=v_i$的所有部分路径 $(y_1,y_2,\cdots ,y_{t-1},y_t=v_i)$ 中的最优路径的概率，即：

$${\delta }_{t,i}=\underset{y_1,y_2,...,y_{t-1}}{\max }P(y_t=v_i,y_{t-1},\cdots ,y_1,x_t,\cdots ,x_1|\lambda ),i=1,2,\cdots ,N\text{\hspace{1em}(12)}$$

首先初始化第一行${\delta }_{1,i}={\pi }_i{b}_i(x_1)$

然后由前面所述的最优子结构可得 ${\delta }_{t,i}$ 的递推式：

$$\begin{array}{rl}{\delta }_{t+1,i}& =\underset{y_1,y_2,\cdots ,y_t}{\max }P(y_{t+1}=v_i,y_t,y_t,\cdots ,y_1,x_{t+1},\cdots ,x_1|\lambda )\\ & =\underset{1\le j\le N}{\max }[{\delta }_{t,j}{a}_{ji}]b_i(x_{t+1})\end{array}\text{\hspace{1em}(13)}$$

意思是求下面一行的第 $i$ 个元素时，给矩阵的上面一行（子问题的最优解）乘以对应的转移概率 $a_{ji}$ 后取其中的最大值，最后乘以出现观测 $x_{t+1}$ 的条件概率 $P(x_{t+1}|y_{t+1}=v_i)=b_i(x_{t+1})$ .

为了便于回溯求解得到具体的路径，定义另一个 $T\times N$ 数组 $\varphi$ 用于保存一些有用的信息.

令：

$${\varphi }_{t,i}=\underset{1\le j\le N}{\mathrm{argmax}}[{\delta }_{t-1,j}{a}_{ji}]\text{\hspace{1em}(14)}$$

即 ${\varphi }_{t,i}$ 记录了在使用递推式$(13)$时，是上一行的哪个 ${\delta }_{t-1,j}$ 转移到 ${\delta }_{t,i}$ 的. 如下图所示，${\delta }_{t,i}$ 是图中的二维矩阵，${\varphi }_{t,i}$ 记录的是转移信息. 这样在递推到最后一行求得最大概率对应 ${\delta }_{T,i}$ 后，根据保存下来的转移信息即可回溯得到最优路径（图中的红色箭头组成的路径）.

维特比算法更具体的描述以及例子可以见李航《统计学习方法》第10.4节，注意书中的状态 $i$ 对应本文的状态 $y$，书中的观测 $o$ 对应本文的观测 $x$。个人认为书中用 $i$ 表示状态（随机变量）会很容易让人将其与公式中随处可见的下标 $i$ 混淆.

线性链条件随机场-linear chain CRF

模型定义

3个重点：图结构、变量的依赖性假设、参数化

线性链CRF（后文的CRF默认指线性链CRF）的图结构：

CRF的假设：

给定观测变量x的条件下，状态变量Y构成马尔可夫随机场. 在线性链CRF中，“给定x时，y满足马尔可夫性”可以表示为：
$$P(y_i|x,y_1,...,y_{i-1},y_{i+1},...,y_n)=P(y_i|x,y_{i-1},y_{i+1}),i=1,2,\cdots ,n$$

CRF对条件概率 $P(y|x)$ 进行建模，其参数化形式为：

$$P(y|x)=\frac{1}{Z}\exp \left(\sum _j\sum _{i=1}^{n-1}{\lambda }_j{t}_j(y_{i+1},y_i,x,i)+\sum _k\sum _{i=1}^n{u}_k{s}_k(y_i,x,i)\right)\text{\hspace{1em}(15)}$$

其中 $t_j(y_{i+1},y_i,x,i)$ 是定义在两个相邻标记位置 $i$ 和 $i+1$上的转移特征函数，用于刻画相邻标记变量 $y_i$ 和 $y_{i+1}$ 之间的相关关系以及观测序列 $x$ 对它们的影响，$s_k(y_i,x,i)$ 是定义在标记位置 $i$ 上的状态特征函数，用于刻画观测序列 $x$ 对标记变量 $y_i$ 的影响.

CRF的简化形式：

其他内容可以参考 这篇博客，至少其符号用的比较清楚，不像李航的书比较乱，而且我感觉李航的书在CRF那节也有几个地方写错了.

训练方法

假设有数据集 $X=\{(X_1,Y_1),(X_2,Y_2),\cdots ,(X_N,Y_N)\}$，使用极大似然估计来求CRF的参数 $w$。对于使用简化形式的CRF模型，训练数据的对数似然函数为：

$$\begin{array}{rl}L(w)& =\log \prod _{i=1}^{N}P(Y_i|X_i)\\ & =\sum _{i=1}^N\log P(Y_i|X_i)\\ & =\sum _{i=1}^N\log \left(\frac{1}{Z(X_i)}\exp \sum _{k=1}^K{w}_k{f}_k(Y_i,X_i)\right)\\ & =\sum _{i=1}^N\sum _{k=1}^K{w}_k{f}_k(Y_i,X_i)-\sum _{i=1}^N\log Z(X_i)\end{array}\text{\hspace{1em}(16)}$$

预测方法

同样使用维特比算法，细节见李航《统计学习方法》第11.5节，或参考 可以参考 这篇博客

但是注意，CRF中只需要求解最大非规范化概率对应的路径。理由见下（来自李航的书）：

下面直接把预测问题当做动态规划问题来解释。

问题：假设所有可能的标签为 $V=[v_1,v_2,...,v_N]$，其中$v_1=<start>$，$v_N=<end>$，输入文本序列 $x=[x_1,x_2,...,x_T]$，我们的目标是根据CRF模型来求解非规范化概率最大的标记序列 $y=[y_1,y_2,...,y_T]$， 另外，我们添加上 $y_0$ 和 $y_{T+1}$，分别对应$v_1=<start>$，$v_N=<end>$

另外，CRF模型由状态特征函数和转移特征函数来定义，这里我们用矩阵的形式表示这两个函数：

非规范化概率，即一个标记序列的“分数”，等于状态特征分数+转移特征分数。

设状态特征矩阵为 $S$，$S_{i,j}$ 表示 $y_i=v_j$ 即第 $i$ 个标签为 $v_j$的分数.

设转移特征矩阵为 $T$，$T_{i,j}$ 表示 $(y_{t-1}=v_i,y_t=v_j)$ 即前一个标签为 $v_i$ 后一个标签为 $v_j$ 的分数.

使用动态规划来求解最大分数，设 $dp[i][j]$ 表示以 $y_i=v_j$ 结尾的子标签序列的最大分数，并设辅助保存信息的矩阵 $H$，$H[i][j]$ 记录的是 $dp[i][j]$ 是由上一行的哪个状态转移而来的。

初始化：

对于$1\le j\le N$，$dp[1][j]=T_{0,j}+S_{1,j}$

递推：

对于 $1\le i\le T$：$$dp[i][j]=\underset{1\le k\le N}{\max }\{dp[i-1][k]+T_{k,j}+S_{i,j}\}$$

$$H[i][j]=\underset{1\le k\le N}{\mathrm{argmax}}\{dp[i-1][k]+T_{k,j}+S_{i,j}\}$$

计算完第 $T$ 行后，最优标签序列的分数为dp矩阵该行的最大值，即 ${\max }_j\{dp[T,j]\}$，其最后一个单词的标签在 $V$ 中的下标为 $i_T=\underset{j}{\mathrm{argmax}}\{dp[T,j]\}$

回溯：

最优标签序列的每个标签都对应标签集 $V$ 的一个下标，求出对应的下标序列就是求出了标签序列。

由 $i_T$ 的值和之前记录的 $H$ 矩阵来求解下标序列。

对于 $t=T-1,T-2,...,1$：

$$i_t=H_{t+1,i_{t+1}}$$

故可求得下标序列 $[i_1,i_2,...,i_T]$，因此最优标签序列就是 $y^{\ast }=[v_{i_1},v_{i_2},...,v_{i_T}]$

PS：用图来理解则类似前面 HMM 中的图。