5分钟理解条件随机场(CRF)概念

开始我给的标题是5分钟理解条件随机场，后来发现这有点大言不惭，因为条件随机场非常复杂，即使大师都没法在5分钟内讲清楚，几个小时还差不多，而且听众要有较强的数学基础才能听懂。所以这篇文章只讲基础概念，下篇再讲应用细节。

条件随机场，英文Conditional Random Field,通常简称CRF，在机器学习中用来解决序列标注问题。典型的序列标注问题就是对句子进行词性标注。如：我 /n     爱/v      北京/n      天安门/n。 n表示名词，v表示动词。

用图表示：                                    

图1

 

这里有两个随机序列（说它随机，是因为序列值可能按照一定的概率发生变化），“我 爱 北京 天安门”是输入序列X, “n v n n”是输出序列Y。输入序列X是我们已知的，或者可以观测到的，有时又叫观测序列；Y是未知的或叫隐藏的状态序列，这个序列是要预测出来的。词性标注就是根据一个由若干词组成的序列，预测出另一个由词性组成序列。

 

那这样的一个模型为什么叫条件随机场呢？图上的点和线是什么意思呢？

数学家把由节点和线组成的集合叫图(graph),见图2。线是两个节点之间的连接线。如果线是有方向的，这个图叫有向图，否则叫无向图，无向图实际上相当于两个方向都有作用。现在节点表示一个状态（或者说是一个变量可能的取值），线表示从一个状态到另一个状态转移的概率，这叫概率图模型。这个概率图模型实际上表示了变量的值可以按照某种概率进行转变，这个变量就是随机变量，这个概率图我们可以理解为随机场（随机场按照定义实际上是这样的随机变量的集合，不过本文为了更容易理解会牺牲一点严谨和准确）。现在假设一个节点仅仅与相邻节点（即有线直接连接的）有关，与其他节点无关（数学上叫条件独立），这个假设叫马尔可夫假设或具有马尔可夫性质。具有马尔可夫性质的随机场叫马尔可夫随机场。

图2

在马尔可夫随机场的基础上再增加条件概率（条件概率的概念可参考5分钟理解贝叶斯公式一文）：有2个随机变量X和Y，在X给定的条件下，Y的条件概率分布图模型就是条件随机场，如图3，橙色节点是随机变量X，黄色节点是随机变量Y，蓝色箭头线表示在已知X的某个取值，Y取某个值的条件概率。

 

图3

 

如果对条件随机场再做规定，即随机变量Y中的节点之间去除一些连线，使得它呈现一条线的形状，如图4，这个叫线性链条件随机场。这个图与图1就基本一样了。线性链条件随机场是一般条件随机场的简化形式，机器学习中都是用这种简化的条件随机场。

图4

总结:

1.随机场是一些随机变量的集合，或者简单理解为就是一个概率图模型

2.随机场+马尔可夫性质（即节点只与有线直接相连的相邻节点有关） =马尔可夫随机场

3.马尔可夫随机场+条件概率=条件随机场

4.条件随机场+规定X为线性链形状=线性链条件随机场

5.机器学习中的条件随机场一般就是指线性链条件随机场