5分钟理解条件随机场(CRF)概念

开始我给的标题是5分钟理解条件随机场,后来发现这有点大言不惭,因为条件随机场非常复杂,即使大师都没法在5分钟内讲清楚,几个小时还差不多,而且听众要有较强的数学基础才能听懂。所以这篇文章只讲基础概念,下篇再讲应用细节。

条件随机场,英文Conditional Random Field,通常简称CRF,在机器学习中用来解决序列标注问题。典型的序列标注问题就是对句子进行词性标注。如:我 /n     爱/v      北京/n      天安门/n。 n表示名词,v表示动词。

用图表示:                                    

5分钟理解条件随机场(CRF)概念_第1张图片 图1

 

这里有两个随机序列(说它随机,是因为序列值可能按照一定的概率发生变化),“我 爱 北京 天安门”是输入序列X, “n v n n”是输出序列Y。输入序列X是我们已知的,或者可以观测到的,有时又叫观测序列;Y是未知的或叫隐藏的状态序列,这个序列是要预测出来的。词性标注就是根据一个由若干词组成的序列,预测出另一个由词性组成序列。

 

那这样的一个模型为什么叫条件随机场呢?图上的点和线是什么意思呢?

数学家把由节点和线组成的集合叫图(graph),见图2。线是两个节点之间的连接线。如果线是有方向的,这个图叫有向图,否则叫无向图,无向图实际上相当于两个方向都有作用。现在节点表示一个状态(或者说是一个变量可能的取值),线表示从一个状态到另一个状态转移的概率,这叫概率图模型。这个概率图模型实际上表示了变量的值可以按照某种概率进行转变,这个变量就是随机变量,这个概率图我们可以理解为随机场(随机场按照定义实际上是这样的随机变量的集合,不过本文为了更容易理解会牺牲一点严谨和准确)。现在假设一个节点仅仅与相邻节点(即有线直接连接的)有关,与其他节点无关(数学上叫条件独立),这个假设叫马尔可夫假设或具有马尔可夫性质。具有马尔可夫性质的随机场叫马尔可夫随机场。

5分钟理解条件随机场(CRF)概念_第2张图片 图2

在马尔可夫随机场的基础上再增加条件概率(条件概率的概念可参考5分钟理解贝叶斯公式一文):有2个随机变量X和Y,在X给定的条件下,Y的条件概率分布图模型就是条件随机场,如图3,橙色节点是随机变量X,黄色节点是随机变量Y,蓝色箭头线表示在已知X的某个取值,Y取某个值的条件概率。

 

5分钟理解条件随机场(CRF)概念_第3张图片 图3

 

如果对条件随机场再做规定,即随机变量Y中的节点之间去除一些连线,使得它呈现一条线的形状,如图4,这个叫线性链条件随机场。这个图与图1就基本一样了。线性链条件随机场是一般条件随机场的简化形式,机器学习中都是用这种简化的条件随机场。

5分钟理解条件随机场(CRF)概念_第4张图片 图4

总结:

1.随机场是一些随机变量的集合,或者简单理解为就是一个概率图模型

2.随机场+马尔可夫性质(即节点只与有线直接相连的相邻节点有关) =马尔可夫随机场

3.马尔可夫随机场+条件概率=条件随机场

4.条件随机场+规定X为线性链形状=线性链条件随机场

5.机器学习中的条件随机场一般就是指线性链条件随机场

你可能感兴趣的:(机器学习)