自然语言处理学习笔记-lecture3-隐马尔科夫模型

首先讲解了马尔科夫模型，之后讲述了马尔科夫模型的学习过程，之后深入到隐马尔可夫模型，涉及到观测序列概率的计算和在给定观测序列的情况下最可能的隐状态序列，最后给出了隐马尔可夫模型的学习

马尔科夫模型

状态集合：$\mathcal{S}=\{s_1,\cdots ,s_N\}$
观测状态序列：$x=x_1,\cdots ,x_t,\cdots ,x_T$,其中$x_t\in \mathcal{S}$
状态初始化概率：${\pi }_i=p(x_1=s_i),1\le i\le N$
状态转移概率：$a_{ij}=p(x_t=s_j|x_{t-1}=s_i),1\le i,j\le N$
计算观测状态序列的概率(假设当前的状态$x_t$的生成只依赖于前一个状态$x_{t-1}$，通常称为二阶马尔科夫模型):
$$\begin{array}{rl}P(x;\theta )& =\prod _{t=1}^{T}p(x_t|x_1,\cdots ,x_{t-1})\\ & \approx p(x_1)\times \prod _{t=2}^{T}p(x_t|x_{t-1})\end{array}$$
其中$\theta =\{p(x)|x\in \mathcal{S}\}\bigcup \{p(x^{\prime }|x)|x,x^{\prime }\in \mathcal{S}\}$

模型的学习

目的：学习得到模型的参数$\theta$，也即状态初始化概率和状态转移概率的学习，通过极大似然估计完成参数学习
假设训练集包含$D$个样本$\mathcal{D}=\{x^{(d)}{\}}_{d=1}^D$，使用极大似然估计来从训练数据中自动获取最优模型参数：
$$\hat{\theta }=arg\underset{\theta }{\max }\{L(\theta )\}$$
似然函数的对数形式：
$$\begin{array}{rl}L(\theta )& =\sum _{d=1}^D\log P(x^{(d)};\theta )\\ & =\sum _{d=1}^D\left(\log p(x_1^{(d)})+\sum _{t=2}^{T^{(d)}}\log p(x_t^{(d)}|x_{t-1}^{(d)})\right)\end{array}$$
其中$T^{(d)}$表示第$d$个训练数据的序列长度，模型参数还需要满足一下两个约束条件：
$$\begin{gathered} \sum _{x\in \mathcal{S}}p(x)=1 \\ \forall x:\sum _{x^{\prime }\in \mathcal{S}}p(x^{\prime }|x)=1 \end{gathered}$$
引入拉格朗日乘子法来实现约束条件下的极值求解：
$$J(\theta ,\lambda ,\gamma )=L(\theta )-\lambda \left(\sum _{x\in \mathcal{S}}p(x)-1\right)-\sum _{x\in \mathcal{S}}{\gamma }_x\left(\sum _{x^{\prime }\in \mathcal{S}}p(x^{\prime }|x)-1\right)$$
其中$\lambda$是与状态初始概率约束相关的拉格朗日乘子，$\gamma =\{{\gamma }_x|x\in \mathcal{S}\}$是与状态转移概率约束相关的拉格朗日乘子的集合

• 首先计算状态初始概率$p(x)$的偏导
  $$\begin{array}{rl}\frac{\partial J(\theta ,\lambda ,\gamma )}{\partial p(x)}& ={\left(\sum _{d=1}^D\left(\log p(x_1^{(d)})+\sum _{t=2}^{T^{(d)}}\log p(x_t^{(d)}|x_{t-1}^{(d)})\right)-\lambda \left(\sum _{x\in \mathcal{S}}p(x)-1\right)-\sum _{x\in \mathcal{S}}{\gamma }_x\left(\sum _{x^{\prime }\in \mathcal{S}}p(x^{\prime }|x)-1\right)\right)}_{p(x)}^{\prime }\\ & =\frac{\partial }{\partial p(x)}\sum _{d=1}^D\log p(x_1^{(d)})-\lambda \\ & =\frac{1}{p(x)}\sum _{d=1}^D\delta (x_1^{(d)},x)-\lambda \end{array}$$
  其中$\delta (a,b)$的取值当$a=b$时为1，否则为0
  用$c(x,\mathcal{D})$表示训练数据中第一个状态是$x$的次数：
  $$c(x,\mathcal{D})=\sum _{d=1}^D\delta (x_1^{(d)},x)$$
  之后计算拉格朗日乘子$\lambda$的偏导
  $$\frac{\partial J(\theta ,\lambda ,\gamma )}{\partial \lambda }=\sum _{x\in \mathcal{S}}p(x)-1$$
  根据上式可以推导：
  $$p(x)=\frac{c(x,\mathcal{D})}{\lambda }$$
  有$\lambda ={\sum }_{x\in \mathcal{S}}c(x,\mathcal{D})$所以状态初始化概率的估计公式：
  $$p(x)=\frac{c(x,\mathcal{D})}{{\sum }_{x^{\prime }\in \mathcal{S}}c(x^{\prime },\mathcal{D})}$$
• 计算状态转移概率的偏导
  $$\begin{array}{rl}\frac{\partial J(\theta ,\lambda ,\gamma )}{\partial p(x^{\prime }|x)}& ={\left(\sum _{d=1}^D\left(\log p(x_1^{(d)})+\sum _{t=2}^{T^{(d)}}\log p(x_t^{(d)}|x_{t-1}^{(d)})\right)-\lambda \left(\sum _{x\in \mathcal{S}}p(x)-1\right)-\sum _{x\in \mathcal{S}}{\gamma }_x\left(\sum _{x^{\prime }\in \mathcal{S}}p(x^{\prime }|x)-1\right)\right)}_{p(x^{\prime }|x)}^{\prime }\\ & =\frac{\partial }{\partial p(x^{\prime }|x)}\sum _{d=1}^D\sum _{t=2}^{T^{(d)}}\log p\left(x_t^{(d)}|x_{t-1}^{(d)}\right)-{\gamma }_x\\ & =\frac{1}{p(x^{\prime }|x)}\sum _{d=1}^D\sum _{t=2}^{T^{(d)}}\delta (x_{t-1}^{(d)},x)\delta (x_t^{(d)},x^{\prime })-{\gamma }_x\end{array}$$
  将训练数据中$x^{\prime }$紧跟着出现在$x$后面的次数表示为：
  $$c(x,x^{\prime },\mathcal{D})=\sum _{d=1}^D\sum _{t=2}^{T^{(d)}}\delta (x_{t-1}^{(d)},x)\delta (x_t^{(d)},x^{\prime })$$
  之后计算拉格朗日乘子${\gamma }_x$的偏导：
  $$\frac{\partial J(\theta ,\lambda ,\gamma )}{\partial {\gamma }_x}=\sum _{x^{\prime }\in \mathcal{S}}p(x^{\prime }|x)-1$$
  从上式可以推出：
  $$p(x^{\prime }|x)=\frac{c(x,x^{\prime },\mathcal{D})}{{\gamma }_x}$$
  又可以得出${\gamma }_x={\sum }_{x^{\prime \prime }\in \mathcal{S}}c(x,x^{\prime \prime },\mathcal{D})$，故：
  $$p(x^{\prime }|x)=\frac{c(x,x^{\prime },\mathcal{D})}{{\sum }_{x^{\prime \prime }\in \mathcal{S}}c(x,x^{\prime \prime },\mathcal{D})}$$

计算观测概率

目的：计算观测序列的概率
一个例子：在暗室中不知道外面的天气，但是可以通过触摸地面的潮湿程度来推测外部的天气情况，此时，地面的潮湿程度是观测状态，外面的天气是隐状态
观测状态集合：$\mathcal{O}=\{o_1,\cdots ,o_m\}$
隐状态集合：$\mathcal{S}=\{s_1,\cdots ,s_N\}$
观测状态序列：$x=x_1,\cdots ,x_t,\cdots ,x_T$
隐状态序列：$z=z_1,\cdots ,z_t\cdots ,z_T$
隐状态初始化概率：${\pi }_i=p(z_1=s_i),1\le i\le N$
隐状态转移概率：$a_{ij}=p(z_t=s_j|z_{t-1}=s_i),1\le i,j\le N$
观测状态生成概率：$b_j(k)=p(x_t=o_k|z_t=s_j),1\le j\le N\bigwedge 1\le k\le M$

隐马尔可夫模型：

$$\begin{array}{rl}P(x;\theta )& =\sum _{z}P(x,z;\theta )\\ & =\sum _{z}p(z_1)\times p(x_1|z_1)\times \prod _{t=2}^{T}p(z_t|z_{t-1})\times p(x_t|z_t)\end{array}$$
模型参数$\theta =\{p(z)|z\in \mathcal{S}\}\bigcup \{p(z^{\prime }|z)|z,z^{\prime }\in \mathcal{S}\}\bigcup \{p(x|z)|x\in \mathcal{O}\bigwedge z\in \mathcal{S}\}$

前向概率

部分观测状态序列$x_1,\cdots ,x_t$与第$t$个隐状态为$s_i$的联合概率称为前向概率：
$${\alpha }_t(i)=P(x_1,\cdots ,x_t,z_t=s_i;\theta )$$
使用动态规划算法递归计算：

• 初始化：$t=1$
  $${\alpha }_1(i)={\pi }_i{b}_i(x_1),1\le i\le N$$
• 递归：$t=2,\cdots ,T$
  $${\alpha }_t(j)=\left(\sum _{i=1}^N{\alpha }_{t-1}(i)a_{ij}\right)b_j(x_t),1\le j\le N$$
• 终止：
  $$P(x;\theta )=\sum _{i=1}^N{\alpha }_T(i)$$

后向概率

第$t$个隐状态为$s_j$生成部分观测状态序列$x_{t+1},\cdots ,x_T$的条件概率称为后向概率，定义为：
$${\beta }_t(i)=P(x_{t+1},\cdots ,x_T|z_t=s_i;\theta )$$
使用动态规划算法递归计算如下：

• 初始化：$t=T$
  $${\beta }_T(i)=1,1\le i\le N$$
• 递归：$t=T-1,\cdots ,1$
  $${\beta }_t(i)=\sum _{j=1}^N{a}_{ij}{b}_j(x_{t+1}){\beta }_{t+1}(j),1\le i\le N$$
• 终止：
  $$P(x;\theta )=\sum _{i=1}^N{\pi }_i{b}_i(x_1){\beta }_1(i)$$

计算最优隐状态序列-Viterbi算法

目的：在给定一个观测状态序列$x=x_1,\cdots ,x_t,\cdots ,x_T$和模型参数$\theta$的条件下求出最优的隐状态序列
$$\begin{array}{rl}\hat{z}& =arg\underset{z}{\max }\left\{P(z|x;\theta )\right\}\\ & =arg\underset{z}{\max }\left\{\frac{P(x,z;\theta )}{P(x;\theta )}\right\}\\ & =arg\underset{z}{\max }\left\{P(x,z;\theta )\right\}\\ & =arg\underset{z}{\max }\left\{\sum _{z}p(z_1)\times p(x_1|z_1)\times \prod _{t=2}^{T}p(z_t|z_{t-1})\times p(x_t|z_t)\right\}\end{array}$$
假设${\delta }_i=\underset{j\in heads(i)}{\max }\{{\omega }_{ji}{\delta }_j\}$是从结点1到结点$i$的最大路径取值，${\psi }_i=arg\underset{j\in heads(i)}{\max }\{{\omega }_{ji}{\delta }_j\}$

Viterbi算法

• 初始化：
  $${\delta }_1(i)={\pi }_i{b}_1(x_1),{\psi }_1(i)=0$$
• 递归：$t=2,\cdots ,T$
  $$\begin{gathered} {\delta }_t(j)=\underset{1\le i\le N}{\max }\{{\delta }_{t-1}(i)a_{ij}\}{b}_j(x_t) \\ {\psi }_t(j)=arg\underset{1\le i\le N}{\max }\{{\delta }_{t-1}(i)a_{ij}\}{b}_j(x_t) \end{gathered}$$
• 结束：
  $$\begin{gathered} \hat{P}=\underset{1\le i\le N}{\max }\{{\delta }_T(i)\} \\ {\hat{z}}_T=arg\underset{1\le i\le N}{\max }\{{\delta }_T(i)\} \end{gathered}$$
• 回溯：$t=T-1,\cdots ,1$
  $${\hat{z}}_t={\psi }_{t+1}({\hat{z}}_{t+1})$$

模型的学习-前向后向算法

目的：估计模型参数，我们知道的是观测序列，隐状态序列是不确定的，所以参数的主要挑战是需要对指数级的隐状态序列进行求和
给定训练集$\mathcal{D}=\{x^{(d)}{\}}_{d=1}^D$，使用极大似然估计来获得模型的最优参数：
$$\hat{\theta }=arg\underset{\theta }{\max }\{L(\theta )\}$$
Expectation-Maximization(简称EM)算法被广泛用于估计隐状态模型的参数。令$\mathbf{X}$表示一组观测数据，$\mathbf{Z}$表示未观测数据，也就是隐状态序列：EM算法在以下两个步骤中迭代运行：

• E步：确定对数似然的期望值
  $$\mathbf{Q}(\theta |{\theta }^{old})={\mathbb{E}}_{\mathbf{Z}|\mathbf{X};{\theta }^{old}}\left[\log P(\mathbf{X},\mathbf{Z};\theta )\right]$$
• M步：计算最大化该期望值的参数
  $${\theta }^{new}=arg\underset{\theta }{\max }\left\{\mathbf{Q}(\theta |{\theta }^{old})\right\}$$
  那么使用EM算法来训练隐马尔可夫模型，在E步实际使用的目标函数定义如下：
  $$\begin{array}{rl}J(\theta ,\lambda ,\gamma ,\varphi )& =\sum _{d=1}^D{\mathbb{E}}_{\mathbf{Z}|{\mathbf{X}}^{(d)};{\theta }^{old}}\left[\log P({\mathbf{x}}^{(d)},\mathbf{Z};\theta )\right]\\ & -\lambda \left(\sum _{z\in \mathcal{S}}p(z)-1\right)\\ & -\sum _{z\in \mathcal{S}}{\gamma }_z\left(\sum _{z^{\prime }\in \mathcal{S}}p(z^{\prime }|z)-1\right)\\ & -\sum _{z\in \mathcal{S}}{\varphi }_z\left(\sum _{x\in \mathcal{O}}p(x|z)-1\right)\end{array}$$
  通过计算偏导，可以得到公式：
  $$\begin{gathered} p(z)=\frac{c(z,\mathcal{D})}{{\sum }_{z^{\prime }\in \mathcal{S}}c(z^{\prime },\mathcal{D})} \\ p(z^{\prime }|z)=\frac{c(z,z^{\prime },\mathcal{D})}{{\sum }_{z^{\prime \prime }\in \mathcal{S}}c(z,z^{\prime \prime },\mathcal{D})} \\ p(x|z)=\frac{c(z,x,\mathcal{D})}{{\sum }_{x^{\prime }\in \mathcal{O}}c(z,x^{\prime },\mathcal{D})} \end{gathered}$$
  其中$c(\cdot )$表示计数函数，$c(z,\mathcal{D})$是在训练集$\mathcal{D}$上第一个隐状态是$z$的次数的期望值，$c(z,z^{\prime },\mathcal{D})$是在训练集上隐状态$z^{\prime }$出现在隐状态$z$的次数的期望值，$c(z,x,\mathcal{D})$是训练集上隐状态$z$生成观测状态$x$的次数的期望值。
  上述的期望值定义如下：
  $$\begin{array}{rl}c(z,\mathcal{D})& \equiv \sum _{d=1}^D{\mathbb{E}}_{\mathbf{Z}|\mathbf{X};{\theta }^{old}}\left[\delta (z_1,z)\right]\\ c(z,z^{\prime },\mathcal{D})& \equiv \sum _{d=1}^D{\mathbb{E}}_{\mathbf{Z}|\mathbf{X};{\theta }^{old}}\left[\sum _{t=2}^{T^{(d)}}\delta (z_{t-1},z)\delta (z_t,z^{\prime })\right]\\ c(z,x,\mathcal{D})& \equiv \sum _{d=1}^D{\mathbb{E}}_{\mathbf{Z}|\mathbf{X};{\theta }^{old}}\left[\sum _{t=1}^{T(d)}\delta (z_t,z)\delta (x_t^{(d)},x)\right]\end{array}$$
  期望基于隐状态的后验概率$P(\mathbf{z}|{\mathbf{x}}^{(d)};{\theta }^{old})$，计算期望的过程涉及指数级数量的计算，下面以隐状态转换次数的期望为例：
  $$\begin{array}{rl}{\mathbb{E}}_{\mathbf{Z}|\mathbf{X};{\theta }^{old}}\left[\delta (z_{t-1},z)\delta (z_t,z^{\prime })\right]& =\sum _{\mathbf{z}}P(\mathbf{z}|{\mathbf{x}}^{(d)};{\theta }^{old})\delta (z_{t-1},z)\delta (z_t,z^{\prime })\\ & =\sum _{\mathbf{z}}\frac{P({\mathbf{x}}^{(d)},\mathbf{z};{\theta }^{old})}{P({\mathbf{x}}^{(d)};{\theta }^{old})}\delta (z_{t-1},z)\delta (z_t,z^{\prime })\\ & =\frac{1}{P({\mathbf{x}}^{(d)};{\theta }^{old})}\sum _{\mathbf{z}}P({\mathbf{x}}^{(d)},\mathbf{z};{\theta }^{old})\delta (z_{t-1},z)\delta (z_t,z^{\prime })\\ & =\frac{P({\mathbf{x}}^{(d)},z_{t-1}=z,z_t=z^{\prime };{\theta }^{old})}{P({\mathbf{x}}^{(d)};{\theta }^{old})}\end{array}$$
  上式的分母可以使用前向概率来计算，下面是分母的计算：
  $$\begin{array}{rl}P(\mathbf{x},z_{t-1}=s_i,z_t=s_j;\theta )=& P(x_1,\cdots ,x_{t-1},z_{t-1}=s_i;\theta )\times \\ & P(z_t=s_j|z_{t-1}=s_i;\theta )\times \\ & P(x_t|z_t=s_j;\theta )\times \\ & P(x_{t+1},\cdots ,x_T|z_t=s_j;\theta )\\ =& {\alpha }_{t-1}(i)a_{ij}{b}_j(x_t){\beta }_t(j)\end{array}$$

估计隐状态初始化概率

$$\begin{array}{rl}p(z)& =\frac{c(z,\mathcal{D})}{{\sum }_{z^{\prime }\in \mathcal{S}}c(z^{\prime },\mathcal{D})}\\ & =\frac{{\sum }_{d=1}^{D}P({\mathbf{x}}^{(d)},z_1=z;{\theta }^{old})}{{\sum }_{d=1}^{D}P({\mathbf{x}}^{(d)};{\theta }^{old})}\\ {\overline{\pi }}_i& =\frac{{\sum }_{d=1}^D{\alpha }_1(i){\beta }_1(i)}{{\sum }_{d=1}^D{\sum }_{i=1}^N{\alpha }_{T^{(d)}}(i)}\end{array}$$

估计隐状态转换概率

$$\begin{array}{rl}p(z^{\prime }|z)& =\frac{c(z,z^{\prime },\mathcal{D})}{{\sum }_{z^{\prime \prime }\in \mathcal{S}}c(z,z^{\prime \prime },\mathcal{D})}\\ & =\frac{{\sum }_{d=1}^D{\sum }_{t=2}^{T^{(d)}}P(\mathbf{x},z_{t-1}=z,z_t=z^{\prime };{\theta }^{old})}{{\sum }_{d=1}^D{\sum }_{t=2}^{T^{(d)}}P(\mathbf{x},z_{t-1}=z;{\theta }^{old})}\\ {\overline{a}}_{ij}& =\frac{{\sum }_{d=1}^D{\sum }_{t=2}^{T^{(d)}}{\alpha }_{t-1}(i)a_{ij}{b}_j(x_t^{(d)}){\beta }_t(j)}{{\sum }_{d=1}^D{\sum }_{t=2}^{T^{(d)}}{\alpha }_{t-1}(i){\beta }_t(j)}\end{array}$$

估计观测状态生成概率

$$\begin{array}{rl}p(x|z)& =\frac{c(z,x,\mathcal{D})}{{\sum }_{x^{\prime }\in \mathcal{O}}c(z,x^{\prime },\mathcal{D})}\\ & =\frac{{\sum }_{d=1}^D{\sum }_{t=1}^{T^{(d)}}\delta (x_t^{(d)},x)P({\mathbf{x}}^{(d)},z_t=z;{\theta }^{old})}{{\sum }_{d=1}^D{\sum }_{t=1}^{T^{(d)}}P({\mathbf{x}}^{(d)},z_t=z;{\theta }^{old})}\\ {\overline{b}}_i(k)& =\frac{{\sum }_{d=1}^D{\sum }_{t=1}^{T^{(d)}}\delta (x^{(d)},o_k){\alpha }_t(i){\beta }_t(i)}{{\sum }_{d=1}^D{\sum }_{t=1}^{T^{(d)}}{\alpha }_t(i){\beta }_t(i)}\end{array}$$