条件随机场(CRF) - 3 - 概率计算问题

声明:

         1,本篇为个人对《2012.李航.统计学习方法.pdf》的学习总结,不得用作商用,欢迎转载,但请注明出处(即:本帖地址)。

         2,由于本人在学习初始时有很多数学知识都已忘记,所以为了弄懂其中的内容查阅了很多资料,所以里面应该会有引用其他帖子的小部分内容,如果原作者看到可以私信我,我会将您的帖子的地址付到下面。

         3,如果有内容错误或不准确欢迎大家指正。

         4,如果能帮到你,那真是太好了。

 

         在之前的介绍中我们已近知道,条件随机场的概率计算问题是给定条件随机场P(Y|X),输入序列x和输出序列y,计算条件概率P(Yi=yi | x),P(Yi-1 =yi-1, Yi=yi | x)以及相应数学期望的问题。

         为了方便起见,像隐马尔可夫模型那样,引进前向-后向向量,递归的计算以上概率及期望值。这样的算法称为前向-后向算法。

         PS:前向-后向算法的详细讲解在我的“隐马尔可夫模型(HMM) - 2 - 概率计算方法”中已经做了总结,这里就不再详细说明了。

前向-后向算法

         对每个指标i =0,1,...,n+1,定义前向向量ai(x):

                  

         递推公式为

                  

         又可表示为

                  

         ai(yi|x)表示在位置i的标记是yi并且到位置i的前部分标记序列的非规范化概率,若yi可取的值有m个,那ai(x)就是m维的列向量。

         同样,对每个指标i =0,1,...,n+1,定义后向向量βi(x):

                  条件随机场(CRF) - 3 - 概率计算问题_第1张图片

         又可表示为

                  

         βi(yi|x)表示在位置i的标记为yi并且从i+1到n的后部分标记序列的非规范化的概率。

         由前向-后向定义不难得到:

                  

         这里,若ai(x)是m维的列向量,那1就是元素均为1的m维列向量。

 概率计算

         按照前向-后向向量的定义,很容易计算标记序列在位置i是标记yi的条件概率和在位置i-1与i是标记yi-1和yi的条件概率:

                  条件随机场(CRF) - 3 - 概率计算问题_第2张图片

         其中,

                   Z(x)= anT(x)·1

 期望值计算

         利用前向-后向向量,可以计算特征函数关于联合分布P(X, Y)和条件分布P(Y | X)的数学期望。

         特征函数fk关于条件分布P(Y |X)的数学期望是

                  条件随机场(CRF) - 3 - 概率计算问题_第3张图片

         其中,

                   Z(x)= anT(x)·1

 

         假设经验分布为

                  

         则特征函数fk关于联合分布P(X, Y)的数学期望是

                  条件随机场(CRF) - 3 - 概率计算问题_第4张图片

         其中,

                   Z(x)= anT(x)·1

 

         式11.23和式11.35是特征函数数学期望的一般计算公式。对于转移贴纸tk(yi-1, yi, x, i),k=1,2,...,K1,可以将式中的fk换成tk;对于状态特征,可以将式中的fk换成si,表示sl(yi, x, i),k = K1 +1,l = 1,2,...,K2

         有了式11.32 ~11.35,对于给定的观测序列x和标记序列y,可以通过一次前向扫描计算ai及Z(x),通过一次后向扫描计算βi,从而计算所有的概率和特征的期望。

你可能感兴趣的:(机器学习)