CRF实现中文词性标注（1）——原理说明

写在前边

po上看到的一个大佬的博文，这篇博客也是学习大佬的文章。
文中图片也来自于参考博文。
参考链接:
CRF、有向图、无向图
大佬的图模型
大佬的CRF讲解
我的知乎专栏，小白要努力了哦
python 实现CRF,并用于序列标注参考代码
python-crf
simple_crf

图模型

背景

Naive Bayes
$P(X|y)=p(x1|y)p(x2|y)....p(x3|y)$
如果用图中的结点表示变量，边表示变量之间的关系，那么朴素贝叶斯就可以用下边的图表示。

最大熵模型
$$P(y|x)=\frac{exp({\sum }_{i=1}^n{w}_i{f}_i(x,y))}{Z_w(x)}$$

Naive Bayes中使用的是条件概率，而最大熵中使用的是特征函数，二者的区别在于条件概率是有向的，而特征函数是无向的，所以有了将图模型分为有向图和无向图。

无向图

《统计学习方法》中定义

概率无向图中的联合概率分布P(Y)可以写作是图中所有最大团C上的函数
${\psi }_c(Y_c)$的乘积形式

$$\begin{array}{rl}P(Y)& =\frac{1}{Z}\prod _c({\psi }_c(y_c))\\ Z& =\sum \prod _c({\psi }_c(y_c)\end{array}$$
比如：

有向图

DAG(Directed acyclic graph)，有向无环图。
DAG模型可以理解为联合概率等于每个节点在其父节点下的条件概率的累乘。
$$P(Y)=\prod _{s=1}^{S}p(y_s\mid Y_{{\pi }_s})$$

CRF

CRF(conditional Random Fields)，条件随机场是一种无向图，是在给定随机变量X下，随机变量Y的马尔科夫随机场。
主要讨论用在序列标注中的线性链CRF。条件概率模型P(Y | X)中Y是输出变量，也称为状态序列或者标记序列或者隐序列，也就是未知的；X是观测序列，POS中的单词就是观测序列，词性就是状态序列。

1. CRF的学习问题：
   用极大似然或者正则化的极大似然求得条件概率模型P（Y|X）
2. 预测问题：
   输入序列x, 求解概率P(y|x) 最大的y序列

线性链CRF

x = (X1,X2,…Xn), Y = (Y1,Y2,…Yn)均为线性链表示的随机序列，在给定X的情况下，P(Y|X) 构成CRF，也就是满足马尔科夫性：
$$P(Y_i\mid X,Y_1,..Y_{i-1},Y_{i+1},..Y_n)=P(Y_i\mid X,Y_{i-1},Y_{i+1})$$

称P(Y|X)构成线性链条件随机场。

参数化形式

$$\begin{array}{rl}P(y\mid x)& =\frac{1}{Z(x)}exp(\sum _{i,k}{\lambda }_k{t}_k(y_i,y_{i-1},x,i)+\sum _{i,l}{\mu }_l{s}_l(y_i,x,i))\\ Z(x)& =\sum _{y}exp(\sum _{i,k}{\lambda }_k{t}_k(y_i,y_{i-1},x,i)+\sum _{i,l}{\mu }_l{s}_l(y_i,x,i))\end{array}$$

其中t是定义在边上的特征函数，称为转移特征，依赖于前一个和当前位置；s是定义在节点上的特征函数，称为状态特征，只依赖于当前位置；$\lambda ,\mu$是对应的权重。t和s都依赖于位置，所以都是局部特征，通常取值为0或者1，满足特征函数取值1，不满足取值0。
CRF完全由特征函数和权值决定。

简化形式

参数化形式中的CRF的特征函数与位置有关，也就是局部特征。CRF的简化形式是对同一个特征，将其在各个位置求和，这样就把局部特征转化为了全局特征。
首先定义K1个转移特征和K2个状态特征。

• 特征函数f定义为:
  $$f_k(y_{i-1},y_i,x,i)=\left\{\begin{array}{cc}{t}_k(y_{i-1},y_i,x,i)& k=1,2,3..K1\\ s_l(y_i,x,i)& k=k1+l,l=1,2,..K2\end{array}\right\}$$
• 在各个位置求和：
  $$f_k(x,y)=\sum _{i=1}^n{f}_k(y_{i-1},y_i,x,i)k=1,2...K(K=k1+K2)$$
• w表示权值
  $$w_k=\left\{\begin{array}{cc}{\lambda }_k& k=1,2,..k1\\ {\mu }_l& k=k1+l,l=1,2,..k2\end{array}\right\}$$
• 得到CRF的简化形式为
  $$\begin{gathered} P(y\mid x)=\frac{1}{Z(x)}exp\sum _{k=1}^K{w}_k{f}_k(x,y) \\ Z(x)=\sum exp(\sum _{k=1}^K{w}_k{f}_k(x,y)) \end{gathered}$$

写成向量形式：
$$\begin{gathered} w=(w_1,w_2,..w_K{)}^T \\ F(y,x)=（f_1（x,y）,...f_k(x,y{)}^T）p(y|x)=\frac{exp(w\cdot F(x,y))}{Z_w(x)} \end{gathered}$$

矩阵形式

参考链接：
CRF矩阵形式参考链接

太懒了，懒得打矩阵形式了···

CRF的矩阵形式类似于HMM中的转移矩阵，就是$y_{i-1}$的m种状态到$y_i$的m种状态的转移概率。

举个例子说明：


矩阵推导过程：

各个矩阵累乘正好是从start到stop所有路径的非规范化概率之和。

CRF的三个问题

同HMM，CRF也存在概率计算、学习和预测问题。

1. 概率计算问题：给定条件随机场P(Y|X)，输入序列x和输出序列y，计算条件概率P(Yi=yi|x)和P(Yi−1=yi−1,Yi=yi|x)和相应的数学期望。
2. 学习问题：给定训练数据集，估计条件随机场模型参数，也就是用极大似然法的方法估计参数。
3. 预测问题：给定条件随机场P(Y|X)和输入序列（观测序列）x，求条件概率最大的输出序列（标记序列）y∗。

概率计算问题

前向 后向向量

给定CRF模型P(Y|X) ,输入序列x，输出序列y，计算条件概率$p(y_i\mid x)$和$p(y_{i-1},y_i\mid x)$。

可以看出CRF是直接计算条件概率也就是CRF是判别式模型，HMM是由联合概率计算，先由状态 i 生成下一个状态 i+1， 在由状态 i+1 生成i+1状态下的输出， 是生成式模型。

1. 前向 向量
   对于i = 0,1,2,…n+1,定义前向向量${\alpha }_i(x)$为：
   $${\alpha }_0(y|x)=\left\{\begin{array}{cc}1,& y=start\\ 0,& else\end{array}\right\}$$
   前向向量的递推
   $${\alpha }_i^T(y_i\mid x)={\alpha }_{i-1}^T(y_{i-1}\mid x)M_i(y_{i-1},y_i\mid x)i=1,2,...n+1$$

或者表示为
$${\alpha }_i^T(x)={\alpha }_{i-1}^T(x)M_i(x)i=1,2,...n+1$$
${\alpha }_i^T(y_i\mid x)$表示从0到i位置的标记序列的非规范化概率。

2. 后向向量
   同理可定义后向向量
   对于i = 0,1,2,…n+1,定义前向向量${\alpha }_i(x)$为：
   $${\beta }_{n+1}(y_{n+1}|x)=\left\{\begin{array}{cc}1,& y_{n+1}=stop\\ 0,& else\end{array}\right\}$$
   后向向量的递推

$${\beta }_i(y_i\mid x)=M_{i+1}(y_i,y_{i+1}\mid x){\beta }_{i+1}(y_{i+1}\mid x)i=1,2,...n+1$$

或者表示为
$${\beta }_i(x)=M_{i+1}(x){\beta }_{i+1}(x)i=1,2,...n+1$$

${\beta }_i(y_i\mid x)$表示从 i+1 到 n位置的标记序列的非规范化概率。

概率计算

其实我不是太懂这个具体的怎么就前向乘以后向了
$$P(Y_i=y_i\mid x)=\frac{{\alpha }_i^T(y_i\mid x){\beta }_i(y_i\mid x)}{Z(x)}$$
$$Z(x)={\alpha }_n(x{)}^T\cdot 1=1^T\cdot {\beta }_1(x)$$
$$P(Y_i=y_i,Y_{i-1}=y_{i-1}\mid x)=\frac{{\alpha }_{i-1}^T(y_{i-1}\mid x)M_i(y_{i-1},y_i\mid x){\beta }_i(y_i\mid x)}{Z(x)}$$

学习问题

CRF 是定义在时序数据上的对数线性模型，学习方法包括极大似然估计和正则化的极大似然估计，具体的优化算法实现包括改进的迭代尺度算法、拟牛顿法和梯度下降法。

1. 改进的迭代尺度算法

已知训练数据集，可以知道经验概率分布P(X,Y)，然后通过极大化训练数据的对数似然函数学习模型参数。
经验分布
$$\begin{gathered} \hat{p}(x,y)=\frac{count(x,y)}{N} \\ \hat{p}(x)=\frac{count(x)}{N} \end{gathered}$$

对数似然函数

$$\begin{array}{rl}L(w)& =L(P_w)\\ & =log\prod _{x,y}{P}_w(y\mid x{)}^{\hat{p}(x,y)}\\ & =\sum _{x,y}\hat{p}(x,y)log{p}_w(y\mid x)\end{array}$$

$$p_w(y\mid x)=\frac{exp{\sum }_k(w_k{f}_k(y,x))}{z_w(x)}$$

代入可得
$$\begin{array}{rl}{L}_w& =\sum _{x,y}\hat{p}(x,y)log{p}_w(y\mid x)\\ & =\sum _{x,y}\hat{p}(x,y)\sum _k{w}_k{f}_k(y,x)-\sum _{x,y}\hat{p}(x,y)log{Z}_w(x)\\ & =\sum _k\sum _i{w}_k{f}_k(y_i,x_i)-\sum _{i}log{Z}_w(x_{x_i})\end{array}$$
改进的迭代尺度算法是通过迭代的方法不断优化对数似然函数改变量的下界，达到 极大化似然函数的目的。具体可以参考下图，截图至《统计学习方法》。

• 当前参数向量w = (w1, w2, …wk) ,
• 参数向量增量为$\delta =({\delta }_1,{\delta }_2...{\delta }_k)$,
• 更新参数 $w=w+\delta$

转移特征更新
$$\begin{array}{rl}{E}_{\hat{p}}[t_k]& =\sum _{x,y}\hat{p}(x,y)\sum _i{t}_k(y_{i-1},y_i,x,i)\\ & =\sum _{x,y}\hat{p}(x)p(y\mid x)\sum _i{t}_k(y_{i-1},y_i,x,i)exp({\delta }_{k}F(x,y))\\ k& =1,2,3..K1\end{array}$$

状态特征更新
$$\begin{array}{rl}{E}_{\hat{p}}[s_l]& =\sum _{x,y}\hat{p}(x,y)\sum _i{s}_l(y_i,x,i)\\ & =\sum _{x,y}\hat{p}(x)p(y\mid x)\sum _i{s}_l(y_i,x,i)exp({\delta }_{k+l}F(x,y))\\ l& =1,2,3..K2\end{array}$$

F(x,y) 是对数据（x，y）中出现的所有特征数的总和
$F(x,y)={\sum }_k{f}_k(y,x)={\sum }_{k=1}^K{\sum }_{i=1}^{n+1}{f}_k(y_{i-1},y_i,x,i)$

算法流程
输入：特征函数t1,t2,…tk,s1,s2,…sk，以及经验分布P(X,Y)
输出：参数估计值$\hat{w}$和模型$P_{\hat{w}}$
(1) 初始化
对所有的$k=1,2,3,..K$, $w_k=0$
(2) 计算${\delta }_k$
a.当k = {1,2,3…K1}，${\delta }_k$是关于特征方程的解
$$E_{\hat{p}}[t_k]=\sum _{x,y}\hat{p}(x)p(y\mid x)\sum _i{t}_k(y_{i-1},y_i,x,i)exp({\delta }_{k}F(x,y))$$

当k = K1+l ,l = {1,2,3…K2}，${\delta }_k$是关于状态方程的解
$$E_{\hat{p}}[s_k]=\sum _{x,y}\hat{p}(x)p(y\mid x)\sum _i{s}_l(y_i,x,i)exp({\delta }_{k+l}F(x,y))$$

b. 更新权值 $w_k=w_k+{\delta }_k$
(3) 如果不是所有的w都收敛，重复（2）

拟牛顿算法
没一步一步推导了，下次再看喽。为了说明我看过这方法，还是把图贴这了hhhh

预测问题

CRF的预测问题就是给定CRF模型P（Y|X）以及输入序列x,求出条件概率最大的输出序列 y。也是用Viterbi算法。

从公式上看求解条件概率最大的输出序列 y等价于求解非规范化概率最大的最优路径问题。

$$\begin{array}{rl}{y}^{\ast }& =argma{x}_y{p}_w(y|x)\\ & =argma{x}_y\frac{exp(w\cdot F(y,x))}{Z_w(x)}\\ & =argma{x}_{y}exp(w\cdot F(y,x))\\ & =argma{x}_y(w\cdot F(y,x))\end{array}$$

所以求最优路径的问题转化为$ma{x}_{y}w.F_i(y_{i-1},y_i,x)$

Viterbi算法
（1） 初始化
标记位置 i= 1时，各个状态（标注）l = 1,2,3…m的概率
${\delta }_1(j)=w.F_0(y_0=start,y_1=j,x)$
(2)递推。求处位置 i的各个标注的非规范化概率的最大值。并记录最大值的路径
$${\delta }_i(l)=ma{x}_{1<=j<=m}{\delta }_{i-1}(j)+w.F_i(y_{i-1}=j,y_i=l,x)l=1,2,3...m$$

记录最大路径

$$\psi i(l)=argma{x}_{1<=j<=m}{\delta }_{i-1}(j)+w.F_i(y_{i-1}=j,y_i=l,x)l=1,2,3...m$$

(3)终止
直到计算到i=n终止。
此时可以得到非规范化概率的最大值为
$$ma{x}_{y}w\cdot F(y,x)=ma{x}_{1<=j<=m}{\delta }_n(j)$$

最优路径的终点为
$$y_n^{\ast }=argma{x}_{1<=j<=m}{\delta }_n(j)$$

回溯求得最优路径
KaTeX parse error: Expected 'EOF', got '\ ' at position 64: …, n-2, ...1 \ \̲ ̲y^{*} = (y^{*}_…

例题

具体计算方法请参考链接详细计算参考