【自然语言处理】条件随机场【Ⅱ】条件随机场概述

有任何的书写错误、排版错误、概念错误等，希望大家包含指正。

部分推导和定义相关的佐证资料比较少，供参考。讨论的过程中我会加入自己的理解，难免存在错误，欢迎大家讨论。

在阅读本篇之前建议先学习：
隐马尔可夫模型系列
最大熵马尔可夫模型

由于字数限制，分成五篇博客。
【自然语言处理】条件随机场【Ⅰ】马尔可夫随机场
【自然语言处理】条件随机场【Ⅱ】条件随机场概述
【自然语言处理】条件随机场【Ⅲ】条件随机场估计问题
【自然语言处理】条件随机场【Ⅳ】条件随机场学习问题
【自然语言处理】条件随机场【Ⅴ】条件随机场解码问题

3. 条件随机场

3.1. 背景

最大熵马尔可夫模型（即条件马尔可夫模型）存在一个严重的问题，标注偏置（label bias）问题。观察图 $3$，局部转移概率表明，状态 $1$ 倾向于转移到状态 $2$，状态 $2$ 倾向于转移到状态 $2$ 本身。但是根据维特比算法计算得到的最大概率路径为 $1\to 1\to 1\to 1$，状态 $1$ 并没有转移到状态 $2$。详细来说，时刻 $t=1$ 处于状态 $1$ 倾向于转移到状态 $2$，时刻 $t=2$ 处于状态 $2$ 倾向于转移到状态 $2$ 本身，时刻 $t=3$ 也是。所以路径 $1\to 2\to 2\to 2$ 更符合我们上面对于图中转移倾向性的理解，但是由于从状态 $2$ 转移出去可能的状态包括 $1$、$2$、$3$、$4$ 和 $5$，概率在可能的状态上分散了，而状态 $1$ 转移出去的可能状态仅仅为状态 $1$ 和 $2$，概率更加集中。由于局部归一化的影响，隐状态会倾向于转移到那些后续状态可能更少的状态上，以提高整体的后验概率。这就是标注偏置问题。为了处理此问题，提出了条件随机场。

图 3    标注偏置示意图

3.2. 定义

条件随机场（Conditional Random Field，CRF）是给定随机变量 $X$ 条件下，随机变量 $Y$ 的马尔可夫随机场，属于判别式无向图模型。

一般条件随机场的定义。设 $X$ 与 $Y$ 是随机变量，$P(Y\mid X)$ 是在给定 $X$ 的条件下 $Y$ 的条件概率分布。若随机变量 $Y$ 构成一个由无向图 $G=(V,E)$ 表示的马尔可夫随机场，即
$$P(Y_v\mid X,Y_w,w\ne v)=P(Y_v\mid X,Y_w,w\sim v)$$
对任意结点 $v$ 成立，则称条件概率分布 $P(Y|X)$ 为条件随机场。式中 $w\sim v$ 表示在图 $G=(V,E)$ 中与结点 $v$ 有边连接的所有结点 $w$；$w\ne v$ 表示结点 $v$ 以外的所有结点；$Y_v$，$Y_u$ 与 $Y_w$ 为结点 $v$，$u$ 与 $w$ 对应的随机变量。

理论上来说，图 $G$ 可以具有任意结构，只要能表示标记变量之间的条件独立性关系即可，但在现实应用中，尤其是处理序列标注问题时，常用图 $4$ 所示的链式结构，即线性链条件随机场（linear chain conditional random field）；有时也会进一步假设 $X$ 和 $Y$ 有相同的图结构，如图 $5$ 所示。我们主要考虑无向图为如图 $4$ 和图 $5$ 所示的线性链的情况，即
$$G=(V=\{1,2,\dots ,T\},E=\{(i,i+1)\}),i=1,2,\dots ,T-1$$

图 4    线性链条件随机场

图 5     X 和 Y 有相同的图结构的线性链条件随机场

在此情况下，$X=(X_1,X_2,\dots ,X_T)$，$Y=(Y_1,Y_2,\dots ,Y_T)$，最大团是相邻两个结点的集合。线性链条件随机场有下面的定义。

设 $X$ 和 $Y$ 均为线性链表示的随机变量序列，若在给定随机变量序列 $X$ 的条件下，随机变量序列 $Y$ 的条件概率分布 $P(Y\mid X)$ 构成条件随机场，即满足马尔可夫性
$$\begin{gathered} P(Y_i\mid X,Y_1,\dots ,Y_{i-1},Y_{i+1},\dots ,Y_T)=P(Y_i\mid X,Y_{i-1},Y_{i+1}) \\ i=1,2,\dots ,n(在i=1和n时只考虑单边) \end{gathered}$$
则称 $P(Y\mid X)$ 为线性链条件随机场。在标注问题中，$X$ 表示输入观测序列，$Y$ 表示对应的输出标记序列或状态序列。

注意，我们下面讨论的均为线性链条件随机场，是一种特殊的、简化的条件随机场。

3.3. 参数化形式

与马尔可夫随机场定义联合概率的方式类似，条件随机场使用势函数和图结构上的团来定义条件概率 $P(Y\mid X)$。根据 Hammersley-Clifford 定理，可以给出线性条件随机场 $P(Y\mid X)$ 的因子分解式，各因子是定义在相邻两个结点（最大团）上的势函数。

设 $P(Y\mid X)$ 为线性链条件随机场，则在随机变量 $X$ 取值为 $x$ 的条件下，随机变量 $Y$ 取值为 $y$ 的条件概率具有如下形式：
$$P(y\mid x)=\frac{1}{Z(x)}\exp \left(\sum _{t,i}{\lambda }_i{t}_i(y_{t-1},y_t,x,t)+\sum _{t,j}{\mu }_j{s}_j(y_t,x,t)\right)\text{\hspace{1em}(6)}$$
其中，
$$Z(x)=\sum _y\exp \left(\sum _{t,i}{\lambda }_i{t}_i(y_{t-1},y_t,x,t)+\sum _{t,j}{\mu }_j{s}_j(y_t,x,t)\right)\text{\hspace{1em}(7)}$$
势函数对最大团的描述包括两个方面，单个标记变量 $\{y_i\}$ 以及相邻的标记变量 $\{y_{i-1},y_i\}$。$t_i$ 是定义在边上的特征函数，称为转移特征函数（transition feature function），依赖于当前和前一个时刻，用于刻画相邻状态变量之间的相关关系以及观测序列对它们的影响；$s_j$ 是定义在结点上的特征函数，称为状态特征函数（status feature function），依赖于当前时刻，用于刻画观测序列对状态变量的影响。$t_i$ 和 $t_j$ 都依赖于时刻，是局部特征函数。${\lambda }_i$ 和 ${\mu }_j$ 为参数，$Z(x)$ 为规范化因子。条件随机场完全由特征函数 $t_i$，$s_j$ 和对应的权重 ${\lambda }_i$，${\mu }_j$ 确定。

注意区分下标 $t$ 和特征函数 $t_i$ 。

看一个简单的例子。设有一标注问题：输入观测序列为 $X=(X_1,X_2,X_3)$，输出状态序列为 $Y=(Y_1,Y_2,Y_3)$，$Y_1$，$Y_2$，$Y_3$ 取值于 $\{1,2\}$。只表明特征值为 $1$ 的条件，取值为 $0$ 的条件忽略。比如
$$t_1(y_1=1,y_2=2,x,2),{\lambda }_1=1$$
表明当 $y_1=1$，$y_2=2$ 时，满足特征函数 $t_1$，即 $t_1(y_1=1,y_2=2,x,2)=1$，对应的权重 ${\lambda }_1=1$。类似地写出全部取值为 $1$ 的特征函数及其对应的权重：
$$\begin{array}{lc}{t}_1(y_1=1,y_2=2,x,2),& {\lambda }_1=1\\ t_2(y_2=1,y_3=2,x,3),& {\lambda }_2=1\\ t_3(y_1=1,y_2=1,x,2),& {\lambda }_3=0.6\\ t_4(y_2=2,y_3=1,x,3),& {\lambda }_4=1\\ t_5(y_1=2,y_2=1,x,2),& {\lambda }_5=1\\ t_6(y_2=2,y_3=2,x,3),& {\lambda }_6=0.2\\ & \\ s_1(y_1=1,x,1),& {\mu }_1=1\\ s_2(y_1=2,x,1),& {\mu }_2=0.5\\ s_3(y_2=2,x,2),& {\mu }_3=0.5\\ s_4(y_2=1,x,2),& {\mu }_4=0.8\\ s_5(y_3=1,x,3),& {\mu }_5=0.8\\ s_6(y_3=2,x,3),& {\mu }_6=0.5\end{array}$$
对给定的观测序列 $x$，求状态序列为 $y=(y_1,y_2,y_3)=(1,2,2)$ 的非规范化条件概率（即没有除以规范化因子的条件概率）。由式 $(6)$ 可得，线性链条件随机场模型为
$$P(y\mid x)\propto \exp \left[\sum _{i=1}^6{\lambda }_i\sum _{t=2}^3{t}_i(y_{t-1},y_t,x,t)+\sum _{j=1}^6{\mu }_j\sum _{t=1}^3{s}_j(y_t,x,t)\right]$$
对给定的观测序列 $x$，状态序列 $y=(1,2,2)$ 的非规范化条件概率为
$$P(y_1=1,y_2=2,y_3=2\mid x)\propto \exp ({\lambda }_1+{\lambda }_6+{\mu }_1+{\mu }_2+{\mu }_3)=\exp (3.2)$$

3.4. 向量形式

条件随机场还可以由向量表示，这使得条件随机场的形式更加简洁。注意到条件随机场式 $(6)$ 中同一特征在各个时刻都有定义，可以对同一个特征在各个时刻求和，将局部特征函数转化为一个全局特征函数，这样就可以将条件随机场写成权值向量和特征向量的内积形式。

为简便起见，首先将转移特征函数和状态特征函数及其权值用统一的符号表示。设有 $K_1$ 个转移特征函数，$K_2$ 个状态特征函数，$K=K_1+K_2$，记
$$f_k(y_{t-1},y_t,x,t)=\{\begin{array}{lc}{t}_i(y_{t-1},y_t,x,t),& k=i;i=1,2,\dots ,K_1\\ s_j(y_t,x,t),& k=K_1+j;j=1,2,\dots ,K_2\end{array}$$
对转移与状态特征在各个时刻 $t$ 求和，记作
$$f_k(y,x)=\sum _{t=1}^T{f}_k(y_{t-1},y_t,x,t),k=1,2,\dots ,K$$
用 $w_k$ 表示特征 $f_k(y,x)$ 的权重，即
$$w_k=\{\begin{array}{lc}{\lambda }_i,& k=i;i=1,2,\dots ,K_1\\ {\mu }_j,& k=K_1+j;j=1,2,\dots ,K_2\end{array}$$
因此，条件随机场式 $(6)$ 和式 $(7)$ 可以表示为
$$\begin{gathered} P(y\mid x)=\frac{1}{Z(x)}\exp \sum _{k=1}^K{w}_k{f}_k(y,x) \\ Z(x)=\sum _y\exp \sum _{k=1}^K{w}_k{f}_k(y,x) \end{gathered}$$
若以 $w$ 表示权重向量，即
$$w=(w_1,w_2,\dots ,w_K{)}^T$$
以 $F(y,x)$ 表示全局特征向量，即
$$F(y,x)={\left(f_1(y,x),f_2(y,x),\dots ,f_K(y,x)\right)}^T$$
则条件随机场可以写成向量 $w$ 与 $F(y,x)$ 的内积形式：
$$P_w(y\mid x)=\frac{\exp \left(w\cdot F(y,x)\right)}{Z_w(x)}$$
其中，
$$Z_w(x)=\sum _y\exp \left(w\cdot F(y,x)\right)$$
可以看出线性链条件随机场是对数线性模型（log linear model）。

3.5. 矩阵形式

条件随机场还可以由矩阵表示。假设可能的状态集合 $Q=\{q_1,q_2,\dots ,q_N\}$。对每个状态序列引进特殊的起点和终点状态标记 $y_0=q_{\mathrm{start}}$ 和 $y_{T+1}=q_{\mathrm{stop}}$，这时状态序列的概率 $P_w(y\mid x)$ 可以通过矩阵形式表示并有效计算。

对观测序列 $x$ 的每一个时刻 $t=1,2,\dots ,T+1$，由于 $y_{t-1}$ 和 $y_t$ 均可能取到 $N$ 种状态取值中的任意一种情况，因此可以定义一个 $N$ 阶矩阵随机变量
$$M_t=[M_t(y_{t-1},y_t){]}_{N\times N}$$
矩阵随机变量的元素为
$$\begin{gathered} M_t(y_{t-1},y_t)=\exp \left(W_t(y_{t-1},y_t)\right) \\ {W}_t(y_{t-1},y_t)=\sum _{k=1}^K{w}_k{f}_k(y_{t-1},y_t,x,t) \end{gathered}$$
其中，$y_{t-1}$ 和 $y_t$ 是状态随机变量 $Y_{t-1}$ 和 $Y_t$ 的取值。

注意区别 $y_i$ 和 $q_i$ 在理解角度和粒度上的不同。

这样，给定观测序列 $x$，相应状态序列 $y$ 的非规范化概率可以通过从该序列 $T+1$ 个矩阵中各挑选一个合适元素并相乘表示，即 $\prod _{t=1}^{T+1}{M}_t(y_{t-1},y_t)$。于是，条件概率 $P_w(y\mid x)$ 为
$$P_w(y\mid x)=\frac{1}{Z_w(x)}\prod _{t=1}^{T+1}{M}_t(y_{t-1},y_t)$$
其中，$Z_w(x)$ 为规范化因子，是 $T+1$ 个矩阵的乘积且位于 $(\mathrm{start},\mathrm{stop})$ 位置的元素，即
$$Z_w(x)=[M_1{M}_2\dots M_{T+1}{]}_{\mathrm{start},\mathrm{stop}}$$
注意，$y_0=q_{\mathrm{start}}$ 与 $y_{T+1}=q_{\mathrm{stop}}$ 表示开始状态与终止状态，规范化因子 $Z_w(x)$ 是以 $q_{\mathrm{start}}$ 为起点 $q_{\mathrm{stop}}$ 为终点通过状态的所有路径 $y_1{y}_2\dots y_T$ 的非规范化概率 $\prod _{t=1}^{T+1}{M}_t(y_{t-1},y_t)$ 之和。通过下面的例子来理解矩阵形式。

图 6    状态路径

给定一个由图 $6$ 所示的线性链条件随机场，观测序列 $x$，状态序列 $y$，$T=3$，状态 $y_i\in \{1,2\}$，假设 $y_0=q_{\mathrm{start}}=1$，$y_4=q_{\mathrm{stop}}=1$，各个时刻的随机变量矩阵 $M_1$，$M_2$，$M_3$，$M_4$ 分别为
$$\begin{gathered} M_1=\left[\begin{array}{cc}{a}_{01}& a_{02}\\ 0& 0\end{array}\right] \\ {M}_2=\left[\begin{array}{cc}{b}_{11}& b_{12}\\ b_{21}& b_{22}\end{array}\right] \\ {M}_3=\left[\begin{array}{cc}{c}_{11}& c_{12}\\ c_{21}& c_{22}\end{array}\right] \\ {M}_4=\left[\begin{array}{cc}1& 0\\ 1& 0\end{array}\right] \end{gathered}$$
计算图 $6$ 中从 $\mathrm{start}$ 到 $\mathrm{stop}$ 对应于 $y=(1,1,1)$，$y=(1,1,2)$，$\dots$，$y=(2,2,2)$ 各路径的非规范化概率分别是
$$\begin{array}{lc}(1,1,1):& a_{01}{b}_{11}{c}_{11}\\ (1,1,2):& a_{01}{b}_{11}{c}_{12}\\ (1,2,1):& a_{01}{b}_{12}{c}_{21}\\ (1,2,2):& a_{01}{b}_{12}{c}_{22}\\ (2,1,1):& a_{02}{b}_{21}{c}_{11}\\ (2,1,2):& a_{02}{b}_{21}{c}_{12}\\ (2,2,1):& a_{02}{b}_{22}{c}_{21}\\ (2,2,2):& a_{02}{b}_{22}{c}_{22}\end{array}$$
计算取矩阵乘积 $M_1{M}_2{M}_3{M}_4$ 位于 $(\mathrm{start},\mathrm{stop})$ 位置的元素作为规范化因子，其第 $1$ 行第 $1$ 列的元素为
$$a_{01}{b}_{11}{c}_{11}+a_{02}{b}_{21}{c}_{11}+a_{01}{b}_{12}{c}_{21}+a_{02}{b}_{22}{c}_{22}+a_{01}{b}_{11}{c}_{12}+a_{02}{b}_{21}{c}_{12}+a_{01}{b}_{12}{c}_{22}+a_{02}{b}_{22}{c}_{21}$$
恰好等于从 $\mathrm{start}$ 到 $\mathrm{stop}$ 的所有路径的非规范化概率之和，即规范化因子 $Z(x)$。