条件随机场【总结一】（Conditional Random Field，CRF）

说明：本文是在参考已有文献和博客的基础上对基本内容进行的总结，具体内容请参考文末链接。仅作本人学习及他人学习交流所用。

1.基本概念

（1）图（G=（V，E））：由结点（v）和连接结点的边（e）构成的集合分别为V和E。结点表示随机变量，边表示随机变量之间的依赖关系。
（2）概率图模型：由图表示的概率分布。
（3）成对马尔可夫性：设u和v是无向图G中任意两个没有边连接的结点，结点u和v分别对应着随机变量Y_u和Y_v，其他所有结点O，对应的随机变量组是Y_o。成对马尔可夫链是指在给定Y_o条件下，Y_u和Y_v是条件独立的。【2个随机变量+1个随机变量组】

图1 成对马尔可夫性

（4）局部马尔可夫性：设v∈V是无向图中任意一个结点，W是与v有边连接的所有结点，O是v和W以外的其他所有结点。v表示的随机变量是Y_v，W表示的随机变量组是Y_W，O表示的随机随机变量组是Y_O。局部马尔可夫性是指在给定随机变量组Y_W的条件下，Y_O和Y_v是独立的。【1个随机变量+2个随机变量组】

图2 局部马尔可夫性

（5）全局马尔可夫性：设结点集合A，B是在无向图G中被结点集合C分开的任意结点集合，结点集合A，B和C所对应的随机变量组分别是Y_A，Y_B和Y_C。全局马尔可夫性是指给定Y_C条件下，Y_A和Y_B相互独立。【3个随机变量组】

图3 全局马尔可夫性

（6）概率无向图模型（马尔可夫随机场）：无向图是指没有方向的图。在给定联合概率分布P(Y)和表示它的无向图G=（V，E）的情况下，如果联合概率分布 P(Y) 满足成对、局部或全局马尔可夫性，就称此联合概率分布为概率无向图模型或马尔可夫随机场。
（7）团：无向图G中任何两个结点均有边连接的结点子集。
（8）最大团：设C是无向图G中的一个团，并且不能再加进任何一个G的结点使其成为更大的团，则称C为最大团。
（9）概率无向图模型的因子分解：将概率图无向图模型的联合概率分布表示成其最大团上的随机变量的函数乘积形式。
例：设概率无向图模型的无向图为G，C是G上的最大团，C对应的随机变量是Y_C。则概率无向图模型的联合概率分布P(Y)可表示成：

图4 概率无向图模型的因子分解

因子分解的原因：无向图模型的无向性很难确保每个节点在给定它的邻节点的条件下的条件概率和以图中其他节点为条件的条件概率一致。由于这个原因，无向图模型的联合概率并不是用条件概率参数化表示的，而是定义为由一组条件独立的局部函数的乘积形式。因子分解就是说将无向图所描述的联合概率分布表达为若干个子联合概率的乘积，从而便于模型的学习和计算。
（10）条件随机场
是判别生成模型，是给定一组输入随机变量条件（X）下，另一组输出随机变量（Y）的条件概率分布模型，且假设Y构成一个由无向图G=（V，E）表示的马尔科夫随机场，即：

图5

对任意结点成立，则称条件概率分布P(Y|X)为条件随机场。
其中，w~v表示在图G中与结点v有边连接的所有结点w，w≠v表示结点v以外的所有结点。Y_v，Y_u和Y_w是结点v，u和w对应的随机变量。

图6.条件随机场的直观理解

（11）线性链条随机场
一般假定X和Y有相同图结构的线性链条随机场，其最大团是相邻两个结点的集合。具体定义：设X=（X₁，...，X_n），Y=（Y₁，...，Y_n）均为线性链表示的随机变量序列，若在给定X的条件下，Y的条件概率分布P(Y|X)构成条件随机场，满足：

图7

则称P(Y|X)为线性链条件随机场。

2.线性链条件随机场的三种基本表达形式

2.1参数化形式

设P(Y|X)为线性链条件随机场，在随机变量X取值为x的条件下，随机变量Y取值为y的条件概率具有如下形式：

图8

其中：

图9

t_k和s_l是特征函数，通常取1或0。其中，t_k是转移函数，依赖与当前和前一个位置；s_l是状态特征，依赖于当前位置。λ_k和u_l是对应的权值，Z(x)是规范化因子。

2.2简化形式

2.3矩阵形式

参考链接：
【1】李航. 统计学习方法[M]. 清华大学出版社, 2012.
【2】NLP —— 图模型（二）条件随机场（Conditional random field，CRF）