《统计学习方法》——条件随机场(下)

引言

这是统计学习方法第十一章条件随机场的阅读笔记，包含所有公式的详细推导。

条件随机场(conditional random field,CRF)是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。

建议先阅读概率图简介，了解一些概率图的知识。

---

1. 《统计学习方法》——条件随机场(上)
2. 《统计学习方法》——条件随机场(中)
3. 《统计学习方法》——条件随机场(下)
4. 《统计学习方法》——条件随机场#习题解答#

---

条件随机场的学习算法

这一小节，建议先阅读最优化简介。

改进的迭代尺度法

已知训练数据集，由此可知经验概率分布$\tilde{P}(X,Y)$。可以通过极大化训练数据的对数似然函数来求模型参数。

训练数据的对数似然函数为
$$L(w)=L_{\tilde{P}}(P_w)=\log \prod _{x,y}{P}_w(y|x{)}^{\tilde{P}(x,y)}=\sum _{x,y}\tilde{P}(x,y)\log P_w(y|x)$$
当$P_w$是一个由式$(11.15)$和式$(11.16)$给出的条件随机场模型时，对数似然函数为
$$\begin{array}{rl}L(w)& =\sum _{x,y}\tilde{P}(x,y)\log P_w(y|x)\\ & =\sum _{x,y}\left[\tilde{P}(x,y)\log \left(\frac{\exp {\sum }_{k=1}^K{w}_k{f}_k(y,x)}{Z_w(x)}\right)\right]\\ & =\sum _{x,y}\left[\tilde{P}(x,y)\left(\sum _{k=1}^K{w}_k{f}_k(y,x)-\log Z_w(x)\right)\right]\\ & =\sum _{x,y}\left[\tilde{P}(x,y)\sum _{k=1}^K{w}_k{f}_k(y,x)-\tilde{P}(x,y)\log Z_w(x)\right]\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{k=1}^K{w}_k{f}_k(y,x)-\sum _x\tilde{P}(x)\sum _y\log Z_w(x)P(y|x)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{k=1}^K{w}_k{f}_k(y,x)-\sum _x\tilde{P}(x)\sum _{y}P(y|x)\log Z_w(x)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{k=1}^K{w}_k{f}_k(y,x)-\sum _x\tilde{P}(x)\log Z_w(x)\end{array}$$
改进的迭代尺度法通过迭代的方法不断优化对数似然函数改变量的下界，达到极大化对数似然函数的目的。

假设模型的当前参数向量为$w=(w_1,w_2,\cdots ,w_K{)}^T$，向量的增量为$\delta =({\delta }_1,{\delta }_2,\cdots ,{\delta }_K{)}^T$，更新参数向量为$w+\delta =(w_1+{\delta }_1,w_2+{\delta }_2,\cdots ,w_K+{\delta }_K{)}^T$。在每步迭代过程中，改进的迭代尺度法通过依次求解式$(11.36)$和$(11.37)$，得到$\delta =({\delta }_1,\cdots ,{\delta }_K{)}^T$。

关于转移特征$t_k$的更新方程为
$$\begin{array}{rl}{E}_{\tilde{P}}[t_k]& =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^{n+1}{t}_k(y_{i-1},y_i,x,i)\\ & =\sum _{x,y}\tilde{P}(x)P(y|x)\sum _{i=1}^{n+1}{t}_k(y_{i-1},y_i,x,i)\exp ({\delta }_{k}T(x,y)),k=1,\cdots ,K_1\end{array}\text{\hspace{1em}(11.36)}$$
这里$T(x,y)$是在数据$(x,y)$中出现所有特征数的总和：
$$T(x,y)=\sum _k{f}_k(y,x)=\sum _{k=1}^K\sum _{i=1}^{n+1}{f}_k(y_{i-1},y_i,x,i)\text{\hspace{1em}(11.38)}$$
即在最优化简介改进的迭代尺度法中的$f^#(x,y) $，其中的公式$(65)$中我们得到
$$\sum _{x,y}\tilde{P}(x)P_w(y|x)f_i(x,y)\exp ({\delta }_i{f}^{\#}(x,y))=E_{\tilde{P}}(f_i)$$
改成$T(x,y)$即可得到$(11.36)$式。

关于状态特征$s_l$的更新方程为
$$\begin{array}{rl}{E}_{\tilde{P}}[s_l]& =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^{n+1}{s}_l(y_i,x,i)\\ & =\sum _{x,y}\tilde{P}(x)P(y|x)\sum _{i=1}^{n+1}{s}_l(y_i,x,i)\exp ({\delta }_{K_1+l}T(x,y)),l=1,\cdots ,K_2\end{array}\text{\hspace{1em}(11.37)}$$
算法 11.1 (条件随机场模型学习的改进的迭代尺度法)

输入： 特征函数$t_1,t_2,\cdots ,t_{K_1},s_1,s_2,\cdots ,s_{K_2}$；经验分布$\tilde{P}(X,Y)$；

输出： 最优参数值$\hat{w}$；最优模型$P_{\hat{w}}$。

(1) 对所有$k\in \{1,2,\cdots ,K\}$，取初值$w_k=0$。

(2) 对每一$k\in \{1,2,\cdots ,K\}$

​ (a) 当$k=1,2,\cdots ,K_1$时，令${\delta }_k$是方程
$$\sum _{x,y}\tilde{P}(x)P(y|x)\sum _{i=1}^{n+1}{t}_k(y_{i-1},y_i,x,i)\exp ({\delta }_{k}T(x,y))=E_{\tilde{P}}[t_k]$$
的解;

​ 当$k=K_1+l,l=1,2,\cdots ,K_2$时，令${\delta }_{K_1+l}$是方程
$$\sum _{x,y}\tilde{P}(x)P(y|x)\sum _{i=1}^{n+1}{s}_l(y_i,x,i)\exp ({\delta }_{K_1+l}T(x,y))=E_{\tilde{P}}[s_l]$$
​ 的解，式中$T(x,y)$由式$(11.38)$给出。

​ (b) 更新$w_k$值：$w_k\leftarrow w_k+{\delta }_k$。

(3) 如果不是所有$w_k$都收敛，重复步(2)。

拟牛顿法

条件随机场模型学习还可以应用牛顿法或拟牛顿法。对于条件随机场模型
$$P_w(y|x)=\frac{\exp \left({\sum }_{i=1}^n{w}_i{f}_i(x,y)\right)}{{\sum }_y\exp \left({\sum }_{i=1}^n{w}_i{f}_i(x,y)\right)}\text{\hspace{1em}(11.49)}$$
学习的优化目标函数是
$$\underset{w\in {\mathbb{R}}^n}{\min }f(w)=\sum _x\tilde{P}(x)\log \sum _y\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)-\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)\text{\hspace{1em}(11.50)}$$
梯度函数是
$$g(w)=\sum _{x,y}\tilde{P}(x)P_w(y|x)f(x,y)-E_{\tilde{P}}(f)\text{\hspace{1em}(11.51)}$$

算法11.2 条件随机场模型学习的BFGS算法

输入：特征函数$f_1,f_2,\cdots ,f_n$；经验分布$\tilde{P}(x,y)$；

输出：最优化参数$\hat{w}$；最优模型$P_{\hat{w}}(y|x)$。

(1) 选定初始值$w^{(0)}$，取$B_0$为正定对称矩阵，置$k=0$。

(2) 计算$g_k=g(w^{(k)})$。若$||g_k||=0$，则停止计算；否则转(3)。

(3) 由$B_k{p}_k=-g_k$求出$p_k$。

(4) 一维搜索： 即求得${\lambda }_k$使得
$$f(w^{(k)}+{\lambda }_k{p}_k)=\underset{\lambda \ge 0}{\min }f(w^{(k)}+\lambda p_k)$$
(5) 置$w^{(k+1)}=w^{(k)}+{\lambda }_k{p}_k$。

(6) 计算$g_{k+1}=g(w^{(k+1)})$，若$||g_{k+1}||=0$，则停止计算；否则，按式下式算出$B_{k+1}$：
$$B_{k+1}=B_k+\frac{y_k{y}_k^T}{y_k^T{\delta }_k}-\frac{B_k{\delta }_k{\delta }_k^T{B}_k}{{\delta }_k^T{B}_k{\delta }_k}$$
其中，
$$y_k=g_{k+1}-g_k,{\delta }_k=w^{(k+1)}-w^{(k)}$$
(7) 置$k=k+1$，转(3)。

条件随机场的预测算法

条件随机场的预测问题是给定条件随机场$P(Y|X)$和输入序列(观测序列)$x$，求条件概率最大的输出序列(标记序列)$y^{\ast }$，即对观测序列进行标注。条件随机场的预测算法是著名的维特比算法，可以参考隐马尔可夫模型那一章。

由式$(11.19)$可得：
$$\begin{array}{rlr}{y}^{\ast }& =\arg \underset{y}{\max }{P}_w(y|x)& \\ & =\arg \underset{y}{\max }\frac{\exp (w\cdot F(y,x))}{Z_w(x)}& \\ & =\arg \underset{y}{\max }\exp (w\cdot F(y,x))& Z_w(x)与y无关\\ & =\arg \underset{y}{\max }(w\cdot F(y,x))& 指数函数可以去掉\end{array}$$
于是，条件随机场的预测问题成为求非规范化概率最大的最优路径问题
$$\underset{y}{\max }(w\cdot F(y,x))\text{\hspace{1em}(11.52)}$$
这里，路径表示标记序列。其中，
$$\begin{gathered} w=(w_1,w_2,\cdots ,w_K{)}^T \\ F(y,x)=(f_1(y,x),f_2(y,x),\cdots ,f_K(y,x){)}^T \\ {f}_k(y,x)=\sum _{i=1}^n{f}_k(y_{i-1},y_i,x,i),k=1,2,\cdots ,K \end{gathered}$$
注意，这里只需要计算非规范化概率，而不必计算概率，可以大大提高效率。

为了求解最优路径，将式$(11.52)$写成如下形式：
$$\underset{y}{\max }\sum _{i=1}^{n}w\cdot F(y_{i-1},y_i,x)\text{\hspace{1em}(11.53)}$$
其中，
$$F_i(y_{i-1},y_i,x)=(f_1(y_{i-1},y_i,x,i),f_2(y_{i-1},y_i,x,i),\cdots ,f_K(y_{i-1},y_i,x,i){)}^T$$
是局部特征向量。

下面叙述维特比算法。首先要求出位置1的各个标记$j=1,2,\cdots ,m$的非规范化概率：
$${\delta }_1(j)=w\cdot F_1(y_0=\text{start},y_1=j,x),j=1,2,\cdots ,m\text{\hspace{1em}(11.54)}$$
然后，由递推公式，求出到位置$i$的各个标记$l=1,2,\cdots ,m$的非规范化概率的最大值，同时记录非规范化概率最大值的路径：
$${\delta }_i(l)=\underset{1\le j\le m}{\max }\{{\delta }_{i-1}(j)+w\cdot F_i(y_{i-1}=j,y_i=l,x)\},l=1,2,\cdots ,m\text{\hspace{1em}(11.55)}$$

$${\Psi }_i(l)=\arg \underset{1\le j\le m}{\max }\{{\delta }_{i-1}(j)+w\cdot F_i(y_{i-1}=j,y_i=l,x)\},l=1,2,\cdots ,m\text{\hspace{1em}(11.56)}$$

直到$i=n$时终止。这是求得非规范化概率的最大值为
$$\underset{y}{\max }(w\cdot F(y,x))=\underset{1\le j\le m}{\max }{\delta }_n(j)\text{\hspace{1em}(11.57)}$$
以及最优路径的终点
$$y_n^{\ast }=\arg \underset{1\le j\le m}{\max }{\delta }_n(j)\text{\hspace{1em}(11.58)}$$
由此最优路径终点返回，
$$y_i^{\ast }={\Psi }_{i+1}(y_{i+1}^{\ast }),i=n-1,n-2,\cdots ,1\text{\hspace{1em}(11.59)}$$
求得最优路径$y^{\ast }=(y_1^{\ast },y_2^{\ast },\cdots ,y_n^{\ast }{)}^T$。

这样，就得到条件随机场预测的维特比算法。

算法 11.3(条件随机场预测的维特比算法)

输入：模型特征向量$F(y,x)$和权值向量$w$，观测序列$x=(x_1,x_2,\cdots ,x_n)$；

输出：最优路径$y^{\ast }=(y_1^{\ast },y_2^{\ast },\cdots ,y_n^{\ast })$。

(1) 初始化
$${\delta }_1(j)=w\cdot F_1(y_0=\text{start},y_1=j,x),j=1,2,\cdots ,m$$
(2) 递推。对$i=2,3,\cdots ,n$
$$\begin{gathered} {\delta }_i(l)=\underset{1\le j\le m}{\max }\{{\delta }_{i-1}(j)+w\cdot F_i(y_{i-1}=j,y_i=l,x)\},l=1,2,\cdots ,m \\ {\Psi }_i(l)=\arg \underset{1\le j\le m}{\max }\{{\delta }_{i-1}(j)+w\cdot F_i(y_{i-1}=j,y_i=l,x)\},l=1,2,\cdots ,m \end{gathered}$$
(3) 终止
$$\begin{gathered} \underset{y}{\max }(w\cdot F(y,x))=\underset{1\le j\le m}{\max }{\delta }_n(j) \\ {y}_n^{\ast }=\arg \underset{1\le j\le m}{\max }{\delta }_n(j) \end{gathered}$$
(4) 返回路径
$$y_i^{\ast }={\Psi }_{i+1}(y_{i+1}^{\ast }),i=n-1,n-2,\cdots ,1$$
求得最优路径$y^{\ast }=(y_1^{\ast },y_2^{\ast },\cdots ,y_n^{\ast })$。

我们来看一个例题，理解一下。

例 11.3 在例11.1中，用维特比算法求给定的输入序列$x$对应的最优输出序列$y^{\ast }=(y_1^{\ast },y_2^{\ast },y_3^{\ast })$。

解 特征函数及对应的权值均在例11.1中给出。

现用维特比算法求最优路径问题：
$$\max \sum _{i=1}^{3}w\cdot F_i(y_{i-1},y_i,x)$$
(1) 初始化
$${\delta }_1(j)=w\cdot F_1(y_0=\text{start},y_1=j,x),j=1,2$$
$i=1$有
$$\begin{gathered} {\delta }_1(1)={\mu }_1{s}_1=1 \\ {\delta }_2(2)={\mu }_2{s}_2=0.5 \end{gathered}$$
(2) 递推。$i=2$
$$\begin{gathered} {\delta }_2(l)=\underset{1\le j\le m}{\max }\{{\delta }_1(j)+w\cdot F_2(j,l,x)\} \\ {\delta }_2(1)=\max \{1+{\lambda }_2{t}_2+{\mu }_3{s}_3,0.5+{\lambda }_4{t}_4+{\mu }_3{s}_3\}=2.4,{\Psi }_2(1)=1 \\ {\delta }_2(2)=\max \{1+{\lambda }_1{t}_1+{\mu }_2{s}_2,0.5+{\mu }_2{s}_2\}=2.5,{\Psi }_2(2)=1 \end{gathered}$$
$i=3$
$$\begin{gathered} {\delta }_3(l)=\underset{1\le j\le m}{\max }\{{\delta }_2(j)+w\cdot F_3(j,l,x)\} \\ {\delta }_3(1)=\max \{2.4+{\mu }_3{s}_3,2.5+{\lambda }_3{t}_3+{\mu }_3{s}_3\}=4.3,{\Psi }_3(1)=2 \\ {\delta }_3(2)=\max \{2.4+{\lambda }_1{t}_1+{\mu }_4{s}_4,2.5+{\lambda }_5{t}_5+{\mu }_4{s}_4\}=3.9,{\Psi }_3(2)=1 \end{gathered}$$
(3) 终止
$$\begin{gathered} \underset{y}{\max }(w\cdot F(y,x))=\max {\delta }_3(l)={\delta }_3(1)=4.3 \\ {y}^3=\arg \underset{l}{\max }{\delta }_3(l)=1 \end{gathered}$$
(4) 返回
$$\begin{gathered} y_2^{\ast }={\Psi }_3(y_3^{\ast })={\Psi }_3(1)=2 \\ {y}_1^{\ast }={\Psi }_2(y_2^{\ast })={\Psi }_2(2)=1 \end{gathered}$$
最优标记序列
$$y^{\ast }=(y_1^{\ast },y_2^{\ast },y_3^{\ast })=(1,2,1)$$

HMM vs CRF

HMM（隐马尔可夫模型）和CRF（条件随机场）都是序列标注模型，它们有一些相同之处：

1. 都使用马尔可夫假设来建立模型，即当前状态只与前面的有限个状态有关。
2. 都可以被用来解决序列标注问题，如命名实体识别、分词和词性标注等。
3. 都可以使用上下文信息来进行预测，尤其是利用局部特征信息进行标注。

HMM和CRF的主要区别在于：

1. 模型形式：HMM是一个有向图模型，将输入看做输出的生成过程中的潜在状态，因此对于当前时刻的输出只取决于上一时刻的输出和当前时刻的状态。而CRF则是无向图模型，各个观测值之间相互依赖，对于当前时刻的输出不仅取决于前一时刻的输出和当前时刻状态，还取决于整个输入序列。
2. 特征表示：HMM通常只考虑部分特征，比如当前时刻状态和获取当前输出概率的特定条件，因此可能不能很好地针对具体任务提取足够的特征。CRF则允许使用更为复杂的、全局特征，能够更灵活地适应各种不同的序列标注任务。
3. 训练方式：HMM采用基于EM算法的有监督学习，模型参数估计需要已经标注的数据来优化；而CRF采用最大化对数似然函数的优化方法，通过计算损失函数对模型参数进行迭代优化。
4. 模型类型：HMM是生成模型，它可以用来建立观测数据和隐藏状态之间的概率分布模型；而CRF是判别模型，其建模的是样本的条件分布概率P(Y|X)，即在给定输入序列X的情况下预测输出序列Y的概率分布

然而，HMM和CRF都是用于序列建模的模型，它们在某些应用场景下有着协同互补的作用。HMM在处理长序列、低维数据时比较有效率，而CRF则适合处理具有多种特征描述的高维序列，例如分词和语句分析任务中通常会使用CRF来进行序列标注。在实际应用中选择使用HMM还是CRF要根据具体问题和数据特征的不同需求而定。