条件随机场(CRF)详解

形式与定义

什么是条件随机场

条件随机场(conditional random field) 是给定随机变量X的条件下，随机变量Y 的马尔可夫随机场。常用于标注、实体识别等问题。

接下来我们通过命名实体识别来介绍crf。

先介绍实体识别：

给定一个句子：我爱天安门。实体识别的任务是从句子中识别出地点实体：天安门。

由于汉字不能直接作为模型的输入，我们先构造一个简单的实体识别的模型输入与label:

word_alphabet: {0: ‘我’, 1: ‘爱’, 2: ‘天’, 3: ‘安’, 4:‘门’}

label_alphabet: {0: b, 1: m, 2: e, 3: s,4: o, 5: ‘start’, 6: ‘pad’ }

label_alphabet中的b 代表实体的开始(begin)，m代表实体的中间部分(middle)，e代表尸体的结束(end)，o代表不是实体(none)，start、pad分别表示这个label序列的开始和结束。

所以有：

我们将构造的word_index作为模型的输入，label_index作为数据的label。我们希望实体识别模型能过通过word_index 预测出label_index，进而得到实体。

对于每一个字来说label有7种可能，为了数字化这些可能，我们从word_index到label_index设置一种分数，叫做状态分数，每一个字对应7种状态，如下图的红色箭头所示。

把状态分数记作：${\mu }_{1-4}$，表示’爱’对应状态4的得分是多少。

同时因为这是一个序列，label_index 的状态应该应该还与前一个状态有关，比如状态4(o: 不是实体)的后面不可能是状态1(m：实体的中间部分)，也不可能是状态3(e:实体的结束)。所以这个时候需要一个转移分数代表前一个label到后一个label的分数。

把转移分数记作：${\lambda }_{4-4}$，表示从状态4转移到状态4的得分是多少。 所以我们得到word_index=1到label_index=4的分数为${\mu }_{1-4}+{\lambda }_{4-4}$，CRF考虑了全局：将前一个分数累加到当前分数上，将其作为已经预测的序列的整体分数。所以当前得分为：
$$scores={\mu }_{0-4}+{\lambda }_{5-4}+{\mu }_{1-4}+{\lambda }_{4-4}+{\mu }_{2-0}+{\lambda }_{4-0}+{\mu }_{3-1}+{\lambda }_{0-1}+{\mu }_{4-3}+{\lambda }_{1-3}+{\lambda }_{3-6}$$
即：
$$score(x,y)=\sum _{i=0}^n{\lambda }_{y_{i-1},y_i}+\sum _{i=0}^n{\mu }_{i,y_i}$$

因为这个预测序列有很多种，种类为label的排列组合大小。其中只有一种组合是对的，我们想通过模型训练使得对的score的比重在总体的所有score的越大越好。而这个时候我们一般softmax化，即：
$$P(y|x)=\frac{e^{score(x,y)}}{{\sum }_y{e}^{score(x,y)}}$$
上面这个实体识别中，X和Y有相同的图结构，其条件随机场的概率图模型应该长这样：

在一些问题种 X 和Y结构不同，其概率图模型如下图所示：

上面的例子有这样一个问题：有些组合根本不存在，如：状态4(o: 不是实体)的后面不可能是状态1(m：实体的中间部分)，也不可能是状态3(e:实体的结束), 因此我们不能单纯的求分数的相加，需要引入一些限制。即引入转移特征函数$t_k$ 和状态特征函数$s_l$ ,取值为0或者1，当满足条件时取值1，否则取值0。

说明：因为状态4(o: 不是实体)的后面不可能是状态1(m：实体的中间部分)，即：
$$t_1=t_1(y_{i-1}=4,y_i=1,x,i)=0,i=1,2\dots 6$$
此时某一转移可能性的得分也更新为：$t_k{\lambda }_k$ 如果$t_k=0$则此种转移不存在，转移得分为0，对于状态得分也存在这样的情况。

此时CRF的参数化形式定义如下：
$$P(y|x)=\frac{1}{Z}\exp \left(\sum _{i,k}{\lambda }_k{t}_k(y_{i-1},y_i,x,i+\sum _{i,l}{\mu }_l{s}_l(y_i,x,i)\right)$$

$$Z(x)=\sum _{y}exp\left(\sum _{i,k}{\lambda }_k{t}_k(y_{i-1},y_i,x,i)+\sum _{i,l}{\mu }_l{s}_l(y_i,x,i)\right)$$

式中$t_k$是定义在边上的特征函数和$s_l$ 是定义在节点上的特征函数，${\lambda }_k$ 和${\mu }_l$ 是对应的权值。$Z(x)$ 是规范化因子，求和是在所有可能的输出序列上进行的 。

至此我们已经了解了CRF基本的思想了。

下面来看一个简单得例子深入了解CRF。

假设有一个标注问题，输入序列为$X=(X_1,X_2,X_3)$ ,输出的标记序列为$Y=(Y_1,Y_2,Y_3)$ ,$Y_i$ 的取值为1或2。假设$t_k,s_l$ 和对应的权值${\lambda }_k,{\mu }_l$ 如下：
$$\begin{array}{rlrlrl}{t}_1& =t_1(y_{i-1}=1,y_i=2,x,i),& i& =2,3,& {\lambda }_1& =1\\ t_2& =t_2(y_{i-1}=1,y_i=1,x,i),& i& =2,& {\lambda }_2& =0.5\\ t_3& =t_3(y_{i-1}=2,y_i=1,x,i),& i& =3,& {\lambda }_3& =1\\ t_4& =t_4(y_{i-1}=2,y_i=1,x,i),& i& =2,& {\lambda }_4& =1\\ t_5& =t_5(y_{i-1}=2,y_i=2,x,i),& i& =3,& {\lambda }_5& =0.2\\ s_1& =s_1(y_i=1,x,i),& i& =1,& {\mu }_1& =1\\ s_2& =s_2(y_i=1,x,i),& i& =1,2,& {\mu }_2& =0.5\\ s_3& =s_3(y_i=1,x,i),& i& =2,3,& {\mu }_3& =0.8\\ s_4& =s_4(y_i=2,x,i),& i& =3& {\mu }_4& =0.5\end{array}$$
这里只注明特征值取1的条件，取值为0的省略。

对于给定的观测序列 x, 求标记序列为$y=(y_1,y_2,y_3)=(1,2,2)$ 的非规范化条件概率。

根据$t_k,s_l$ 和对应的权值${\lambda }_k,{\mu }_l$ ，我们可以画出转移图如下：

图中红色路径的得分即为$y=(1,2,2)$ 的非规范化条件概率。即：
$$P(y_1=1,y_2=2,y_3=2|x)\to e^{({\lambda }_1{t}_1+{\lambda }_5{t}_5+{\mu }_1{s}_1+{\mu }_2{s}_2+{\mu }_4{s}_4)}=e^{3.2}$$
从公式的角度看：
$$\begin{array}{rl}P(y|x)& \to \exp \left(\sum _{k=1}^5{\lambda }_k\sum _{i=2}^3{t}_k(y_{i-1},y_i,x,i)+\sum _{k=1}^4{\mu }_l\sum _{i=1}^3{s}_l(y_i,x,i)\right)\end{array}$$
其中：
$$\begin{array}{rl}& \sum _{k=1}^5{\lambda }_k\sum _{i=2}^3{t}_k(y_{i-1},y_i,x,i)\\ =& {\lambda }_1(t_1(y_1,y_2,x,2)+t_1(y_2,y_3,x,3))+{\lambda }_2(t_2(y_1,y_2,x,2)+t_2(y_2,y_3,x,3))\\ & +{\lambda }_3(t_3(y_1,y_2,x,2)+t_3(y_2,y_3,x,3))+{\lambda }_4(t_4(y_1,y_2,x,2)+t_4(y_2,y_3,x,3))\\ & +{\lambda }_5(t_5(y_1,y_2,x,2)+t_5(y_2,y_3,x,3))\\ =& {\lambda }_1{t}_1(y_1=1,y_2=2,x,2)+{\lambda }_5{t}_5(y_2=2,y_3=2,x,3)\end{array}$$

$$\begin{array}{rl}& \sum _{l=1}^4{\mu }_l\sum _{i=1}^3{s}_l(y_i,x,i)\\ =& {\mu }_1(s_1(y_1,x,1)+s_1(y_2,x,2)+s_1(y_3,x,3))+{\mu }_2(s_2(y_1,x,1)+s_2(y_2,x,2)+s_2(y_3,x,3))\\ & +{\mu }_3(s_3(y_1,x,1)+s_3(y_2,x,2)+s_3(y_3,x,3))+{\mu }_4(s_4(y_1,x,1)+s_4(y_2,x,2)+s_4(y_3,x,3))\\ =& {\mu }_1{s}_1(y_1=1,x,1)+{\mu }_2{s}_2(y_2=1,x,2)+{\mu }_4{s}_4(y_3=3,x,3)\end{array}$$

带入数值即可。

简化形式

上述公式中，有两个特征函数，两个权值，为了简化，我们首先将转移特征和状态特征及其权值用统一的符号表示。假设有$K_1$ 个转移特征，$K_2$个状态特征，$K=K_1+K_2$，记：
$$f_k(y_{i-1},y_i,x,i)=\{\begin{array}{ll}{t}_k(y_{i-1},y_i,x,i),& k=1,2,\dots ,K_1\\ s_l(y_i,x,i),& k=K_1+l;l=1,2,\dots ,K_2\end{array}$$
然后，对转和状态特征在各个位置$i$求和，记作:
$$f_k(y,x)=\sum _{i=1}^n{f}_k(y_{i-1},y_i,x,i)=\{\begin{array}{ll}{\sum }_{i=1}^n{t}_k(y_{i-1},y_i,x,i),& k<K_1\\ {\sum }_{i=1}^n{s}_l(y_i,x,i),& K_1<k<K\end{array}$$
用$w_k$表示特征$f_k(y,x)$的权值
$$w_k=\{\begin{array}{ll}{\lambda }_k,& k=1,2,\dots ,K_1\\ {\mu }_l,& k=K_1+l;l=1,2,\dots ,K_2\end{array}$$

于是条件随机场可以表示为
$$\begin{array}{rl}P(y|x)& =\frac{1}{Z(x)}\exp \sum _{k=1}^K{w}_k{f}_k(y,x)\\ Z(x)& =\sum _y\exp \sum _{k=1}^K{w}_k{f}_k(y,x)\end{array}$$
若以$w$表示权值向量， 即
$$w=(w_1,w_2,\dots ,w_K{)}^T$$
以$F$表示全局特征向量，即
$$F(y,x)=(f_1(y,x),f_2(y,x),\dots ,f_K(y,x){)}^T$$
条件随机场可以表示成向量内积的形式
$$\begin{array}{rl}{P}_w(y|x)& =\frac{\exp (w\cdot F(y,x))}{Z_w(x)}\\ Z_w(x)& =\sum _y\exp \left(w\cdot F(y,x)\right)\end{array}$$

矩阵形式

针对线性链条件随机场引入起点和终点状态标记$y_0=start,y_{n+1}=end$， 这时$P_w(y|x)$可以矩阵形式表示。

对观测序列$x$ 的每一个位置$i=1,2,\dots ,n+1$ ,由于$y_{i-1}$ 和$y_i$ 在m个标记中取值，可以定义一个m 阶矩阵：
$$\begin{array}{rl}{M}_i(x)& =\left[M_i(y_{i-1},y_i|x)\right]\end{array}$$
矩阵随机变量的元素为：
$$\begin{array}{rl}{M}_i(y_{i-1},y_i|x)& =\exp \left(W_i(y_{i-1},y_i|x)\right)\\ W_i(y_{i-1},y_i|x)& =\sum _{k=1}^K{w}_k{f}_k(y_{i-1},y_i|x)\end{array}$$
举例：假设$y_1\in \{1,2\}$
$$\begin{array}{rl}{W}_2(y_1,y_2|x)& =\sum _{k=1}^K{w}_k{f}_k(y_1,y_2|x)\\ & =\sum _{k=1}^{K_1}{\lambda }_k{t}_k(y_1,y_2,x,2)+\sum _{l=1}^{K-K_1}{\mu }_l{s}_l(y_2,x,2)\end{array}$$
则可以求得：$W_2(y_1=1,y_2=1|x),W_2(y_1=1,y_2=2|x),W_2(y_1=2,y_2=1|x),W_2(y_1=2,y_2=2|x)$

取对数，构成$2\times 2$矩阵矩阵$M_2(x)$，分别表示$y_1$ 转移到$y_2$ 的可能性的大小。

这样给定观测序列$x$，相应的标记序列$y$ 的非规范化概率可以通过该序列的n+1个矩阵原色的乘积${\prod }_{i=1}^{n+1}{M}_i(y_{i-1},y_i|x)$ 表示。所以：
$$P_w(y|x)=\frac{1}{Z_w(x)}\prod _{i=1}^{n+1}{M}_i(y_{i-1},y_i|x)$$
其中，$Z_w$为规范化因子，是n+1个矩阵的乘积的(start,stop)元素
$$Z_w(x)=(M_1(x)M_2(x)\dots M_{n+1}(x){)}_{start,stop}$$
注：$y_0=start,y_{n+1}=stop$ 表示开始状态和终止状态，规范化因子$Z_w(x)$ 是以start为起点，end为终点通过状态的所有路径$y_1{y}_2\dots y_n$ 的非规范化概率${\prod }_{i=1}^{n+1}{M}_i(y_{i-1},y_i|x)$ 之和。

举例如下：

给定下图的线性链条件随机场，观测序列x,状态序列y,假设$y_0=start=1,y_4=stop=1$ 。

各个位置的随机矩阵(可以理解为状态转移矩阵)为：
$$\begin{array}{rl}{M}_1(x)=\left[\begin{array}{ccc}& a_{11}& a_{12}\\ & 0& 0\end{array}\right]& ,M_2(x)=\left[\begin{array}{ccc}& b_{11}& b_{12}\\ & b_{21}& b_{22}\end{array}\right]\\ M_3(x)=\left[\begin{array}{ccc}& c_{11}& c_{12}\\ & c_{21}& c_{22}\end{array}\right]& ,M_4(x)=\left[\begin{array}{ccc}& 1& 0\\ & 1& 0\end{array}\right]\end{array}$$
其中：
$$M_i(x)=\left[\exp \left(\sum _{k=1}^K{w}_k{f}_k(y_{i-1},y_i|x)\right)\right],i=1,2,\dots ,n+1$$
例如$M_1(x)$：
$$M_1(x)=\left[\begin{array}{ccc}& a_{11}=\exp \left({\sum }_{k=1}^K{w}_k{f}_k(y_0=1,y_1=1|x)\right)& a_{12}=\exp \left({\sum }_{k=1}^K{w}_k{f}_k(y_0=1,y_1=2|x)\right)\\ & a_{21}=\exp \left({\sum }_{k=1}^K{w}_k{f}_k(y_0=2,y_1=1|x)\right)& a_{22}=\exp \left({\sum }_{k=1}^K{w}_k{f}_k(y_0=2,y_2=1|x)\right)\end{array}\right]$$
显然，$a_{21},a_{22}$为0。

将上述矩阵相乘：
$$\prod _{i=1}^4{M}_i(y_{i-1},y_i|x)$$
可以得到各个路径的非规范化概率为：
$$\begin{gathered} a_{11}{b}_{11}{c}_{11},a_{11}{b}_{11}{c}_{12},a_{11}{b}_{12}{c}_{21},a_{11}{b}_{12}{c}_{22}, \\ {a}_{12}{b}_{21}{c}_{11},a_{12}{b}_{21}{c}_{12},a_{12}{b}_{22}{c}_{21},a_{12}{b}_{22}{c}_{22}, \end{gathered}$$
规范化因子，即最终计算结果左上角的元素，为：
$$\begin{gathered} a_{11}{b}_{11}{c}_{11}+a_{11}{b}_{11}{c}_{12}+a_{11}{b}_{12}{c}_{21}+a_{11}{b}_{12}{c}_{22}+ \\ {a}_{12}{b}_{21}{c}_{11}+a_{12}{b}_{21}{c}_{12}+a_{12}{b}_{22}{c}_{21}+a_{12}{b}_{22}{c}_{22} \end{gathered}$$

学习算法

条件随机场模型的学习通过拟牛顿法进行。

CRF的模型：
$$\begin{array}{rl}P(y|x)& =\frac{1}{Z(x)}\exp \sum _{i=1}^n{w}_i{f}_i(y,x)\\ Z(x)& =\sum _y\exp \sum _{i=1}^n{w}_i{f}_i(y,x)\end{array}$$
已知训练数据的经验概率分布$P(x,y)$，条件概率分布的对数似然函数表示为：
$$L_P(P_w)=log\prod _{x,y}P(y|x{)}^{P(x,y)}=\sum _{x,y}P(x,y)\log P(y|x)$$
所以
$$\begin{array}{rl}{L}_P(P_w)& =\sum _{x,y}P(x,y)\log P(y|x)\\ & =\sum _{x,y}P(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _{x,y}P(x,y)\log (Z_w(x))\\ & =\sum _{x,y}P(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _{x,y}P(x)P(y|x)\log (Z_w(x))\\ & =\sum _{x,y}P(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _{x}P(x)\log (Z_w(x))\sum _{y}P(y|x)\\ & =\sum _{x,y}P(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _{x}P(x)\log (Z_w(x))\end{array}$$
以上推导用到了$\sum _{y}P(y|x)=1$

要极大化似然函数，即极小化$-L_P(P_w)$。

所以学习的优化目标是：
$$\underset{w\in {\mathbb{R}}^n}{\min }f(w)=\sum _{x}P(x)\log \sum _y\exp \left(\sum _{i=1}^n{w}_i{f}_i(y,x)\right)-\sum _{x,y}P(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)$$
其梯度函数是
$$g(w)={\left(\frac{\partial f(w)}{\partial w_1},\frac{\partial f(w)}{\partial w_2},\dots \frac{\partial f(w)}{\partial w_n}\right)}^T$$
其中：
$$\frac{\partial f(w)}{\partial w_i}=\sum _{x,y}P(x)P_w(y|x)f_i(y,x)-\sum _{x,y}P(x,y)f_i(x,y)$$
向量化：
$$\frac{\partial f(w)}{\partial w}=\sum _{x,y}P(x)P_w(y|x)f(y,x)-\sum _{x,y}P(x,y)f(x,y)$$

条件随机场学习的BFGS算法：

输入：特征函数$f_1,f_2,\dots ,f_n$ ；经验分布$P(x,y)$;

输出：最优参数$\hat{w}$ ; 最优模型$P_w(y|x)$ 。

（1）选定初始点$w^{(0)}$ 取 ${\mathbf{B}}_0$ 为正定对称矩阵，$k=0$。

（2）计算$g_k=g(w^{(k)})$ 。若$g_k=0$ 则停止计算，否则转(3)。

（3）由$B_k{p}_k=-g_k$ 求出$p_k$

（4）一维搜索：求${\lambda }_k$ 使得：
$$f(w^{(k)}+{\lambda }_k{p}_k)=\underset{\lambda \ge 0}{\min }f(w^{(k)}+\lambda p_k)$$
（5）置 $w^{(k+1)}=w^{(k)}+{\lambda }_k{p}_k$

（6）计算 $g_{k+1}=g(w^{(k+1)})$ ，若$g_{k+1}=0$ ，则停止计算，否则，按下式更新$B_{k+1}$:
$${\mathbf{B}}_{k+1}={\mathbf{B}}_k+\frac{y_k{y}_k^T}{y_k^T{\delta }_k}-\frac{{\mathbf{B}}_k{\delta }_k{\delta }_k^T{\mathbf{B}}_k}{{\delta }_k^T{\mathbf{B}}_k{\delta }_k}$$
其中：
$$y_k=g_{k+1}-g_k,{\delta }_k=w^{(k+1)}-w^k$$
（7）置 $k=k+1$ , 转(3)

概率计算

即给定 linear-CRF的条件概率分布P(y|x)， 在给定输入序列x和输出序列y时，计算条件概率$P(y_i|x)$和$P(y_i-1，y_i|x)$以及对应的期望。

前向后向概率概述

要计算条件概率$P(y_i|x)$和$P(y_{i-1}，y_i|x)$，可以使用前向后向算法来完成。

前向概率

定义${\alpha }_i(y_i|x)$表示序列位置i的标记是$y_i$时，在位置i之前的部分标记序列的非规范化概率。

而我们在上面定义了：
$$M_i(y_{i-1},y_i|x)=exp(\sum _{k=1}^K{w}_k{f}_k(y_{i-1},y_i,x,i))$$
用于计算在给定$y_{i-1}$时，从$y_{i-1}$转移到$y_i$的非规范化概率。

那么在得知在位置$i+1$处标记为$y_{i+1}$时，位置$i+1$之前的标记序列非规范化概率${\alpha }_{i+1}(y_{i+1}|x)$的递推公式：
$${\alpha }_{i+1}(y_{i+1}|x)={\alpha }_i(y_i|x)M_{i+1}(y_{i+1},y_i|x)i=1,2,...,n+1$$
特别的，在起点处，我们令：
$${\alpha }_0(y_0|x)=\{\begin{array}{ll}1& y_0=start\\ 0& else\end{array}$$
由于在位置$i+1$处，$y_{i+1}$的可能取值有m种，我们用${\alpha }_i(x)$表示这m个可能取值对应的前向向量：
$${\alpha }_i(x)=({\alpha }_i(y_i=1|x),{\alpha }_i(y_i=2|x),...{\alpha }_i(y_i=m|x){)}^T$$
则递推公式可以表示为：
$${\alpha }_{i+1}^T(x)={\alpha }_i^T(x)M_{i+1}(x)$$
后向概率

同样定义${\beta }_i(y_i|x)$表示序列位置i的标记是$y_i$时，在位置i之后的部分(i+1到n的部分)标记序列的非规范化概率。

那么在得知$i+1$处标记为$y_{(}i+1)$时，位置i之后的部分标记序列的非规范化概率${\beta }_i(y_i|x)$的递推公式：
$${\beta }_i(y_i|x)=M_{i+1}(y_i,y_{i+1}|x){\beta }_{i+1}(y_{i+1}|x)$$
特别的，在终点处定义：
$${\beta }_{n+1}(y_{n+1}|x)=\{\begin{array}{ll}1& y_{n+1}=stop\\ 0& else\end{array}$$
如果用向量表示则有：
$${\beta }_i(x)=M_{i+1}(x){\beta }_{i+1}(x)$$
规范化因子$Z(x)$的表达式为：
$$Z(x)=\sum _{c=1}^m{\alpha }_n(y_c|x)=\sum _{c=1}^m{\beta }_1(y_c|x)$$
向量化的表示为：
$$Z(x)={\alpha }_n^T(x)\bullet 1=1^T\bullet {\beta }_1(x)$$
其中，1是m维全1向量。

前向后向概率计算

有了前向后向概率的定义和计算方法，我们就很容易计算序列位置i的标记是$y_i$时的条件概率$P(y_i|x)$：
$$P(y_i|x)=\frac{{\alpha }_i^T(y_i|x){\beta }_i(y_i|x)}{Z(x)}=\frac{{\alpha }_i^T(y_i|x){\beta }_i(y_i|x)}{{\alpha }_n^T(x)\bullet 1}$$
也容易计算序列位置i的标记是$y_i$，位置$i-1$的标记是$y_{i-1}$时的条件概率$P(y_{i-1},y_i|x)$:
$$\begin{array}{rl}P(y_{i-1},y_i|x)& =\frac{{\alpha }_{i-1}^T(y_{i-1}|x)M_i(y_{i-1},y_i|x){\beta }_i(y_i|x)}{Z(x)}\\ & =\frac{{\alpha }_{i-1}^T(y_{i-1}|x)M_i(y_{i-1},y_i|x){\beta }_i(y_i|x)}{{\alpha }_n^T(x)\bullet 1}\end{array}$$

期望计算

有了上一节计算的条件概率，我们也可以很方便的计算联合分布$P(x,y)$与条件分布$P(y|x)$的期望。

特征函数$f_k(x,y)$关于条件分布$P(y|x)$的期望表达式是：
$$\begin{array}{rl}{E}_{P(y|x)}[f_k]& =E_{P(y|x)}[f_k(y,x)]\\ & =\sum _{i=1}^{n+1}\sum _{y_{i-1}{y}_i}P(y_{i-1},y_i|x)f_k(y_{i-1},y_i,x,i)\\ & =\sum _{i=1}^{n+1}\sum _{y_{i-1}{y}_i}{f}_k(y_{i-1},y_i,x,i)\frac{{\alpha }_{i-1}^T(y_{i-1}|x)M_i(y_{i-1},y_i|x){\beta }_i(y_i|x)}{{\alpha }_n^T(x)\bullet 1}\end{array}$$
同样可以计算联合分布$P(x,y)$的期望：
E P ( x , y ) [ f k ] = ∑ x , y P ( x , y ) ∑ i = 1 n + 1 f k ( y i − 1 , y i , x , i ) = ∑ x P ‾ ( x ) ∑ y P ( y ∣ x ) ∑ i = 1 n + 1 f k ( y i − 1 , y i , x , i ) = ∑ x P ‾ ( x ) ∑ i = 1 n + 1 ∑ y i 1      y i f k ( y i − 1 , y i