【自然语言处理】条件随机场【Ⅳ】条件随机场学习问题

有任何的书写错误、排版错误、概念错误等，希望大家包含指正。

部分推导和定义相关的佐证资料比较少，供参考。讨论的过程中我会加入自己的理解，难免存在错误，欢迎大家讨论。

在阅读本篇之前建议先学习：
隐马尔可夫模型系列
最大熵马尔可夫模型

由于字数限制，分成五篇博客。
【自然语言处理】条件随机场【Ⅰ】马尔可夫随机场
【自然语言处理】条件随机场【Ⅱ】条件随机场概述
【自然语言处理】条件随机场【Ⅲ】条件随机场估计问题
【自然语言处理】条件随机场【Ⅳ】条件随机场学习问题
【自然语言处理】条件随机场【Ⅴ】条件随机场解码问题

3.7. 学习问题

已知训练数据集，由此可知经验概率分布 $\tilde{P}(X,Y)$。可以通过极大化训练数据的对数似然函数来求模型参数。训练数据的对数似然函数为
$$L(w)=L_{\tilde{P}}(P_w)=\log \prod _{x,y}{P}_w(y\mid x{)}^{P_w(x,y)}=\sum _{x,y}\tilde{P}(x,y)\log P_w(y\mid x)$$
当 $P_w$ 是一个由式 $(6)$ 和式 $(7)$ 给出的条件随机场模型时，对数似然函数为
$$\begin{array}{rl}L(w)& =\sum _{x,y}\tilde{P}(x,y)\log P_w(y\mid x)\\ & =\sum _{x,y}\left[\tilde{P}(x,y)\sum _{k=1}^K{w}_k{f}_k(y,x)-\tilde{P}(x,y)\log Z_w(x)\right]\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{k=1}^K{w}_k{f}_k(y,x)-\sum _x\tilde{P}(x)\log Z_w(x)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{k=1}^K{w}_k{f}_k(y,x)-\sum _x\tilde{P}(x)\log \sum _y\exp \left(\sum _{k=1}^K{w}_k{f}_k(y,x)\right)\end{array}\text{\hspace{1em}(16)}$$
另外，$L(w)$ 还可以等价写成全部样本条件概率乘积的对数形式
$$\begin{array}{rl}L(w)& =\log \prod _{d=1}^D{P}_w(y^{(d)}\mid x^{(d)})\\ & =\sum _{d=1}^D\log P_w(y^{(d)}\mid x^{(d)})\\ & =\sum _{d=1}^D\log \frac{\exp \left(\sum _{k=1}^K{w}_k{f}_k(y^{(d)},x^{(d)})\right)}{Z_w(x^{(d)})}\\ & =\sum _{a=1}^D\sum _{k=1}^K{w}_k{f}_k(y^{(d)},x^{(d)})-\sum _{d=1}^D\log Z_w(x^{(d)})\end{array}\text{\hspace{1em}(17)}$$
在最大熵马尔可夫模型中我们讨论过 $\log \prod _{x,y}{P}_w(y\mid x{)}^{P_w(x,y)}=\log \prod _{d=1}^D{P}_w(y^{(d)}\mid x^{(d)})$。因此，训练式 $(16)$ 和式 $(17)$ 是等价的。

3.7.1. 梯度下降法

考虑式 $(16)$，梯度下降法需要极小化 $f(w)=-L(P_w)$，
$$\begin{array}{rl}f(w)& =-L(P_w)\\ & =\sum _x\tilde{P}(x)\log \sum _y\exp \left(\sum _{k=1}^K{w}_k{f}_k(y,x)\right)-\sum _{x,y}\tilde{P}(x,y)\sum _{k=1}^K{w}_k{f}_k(y,x)\end{array}$$

$f(w)$ 关于 $w_k$ 的偏导为
$$\begin{array}{rl}\frac{\partial f(w)}{\partial w_k}& =\sum _x\tilde{P}(x)\frac{\partial \log \sum _y\exp \left(\sum _{k=1}^K{w}_k{f}_k(y,x)\right)}{\partial w_k}-\sum _{x,y}\tilde{P}(x,y)f_k(y,x)\\ & =\sum _x\tilde{P}(x)\frac{1}{\log \sum _y\exp \left(\sum _{k=1}^K{w}_k{f}_k(y,x)\right)}\frac{\partial \sum _y\exp \left(\sum _{k=1}^K{w}_k{f}_k(y,x)\right)}{\partial w_k}-\sum _{x,y}\tilde{P}(x,y)f_k(y,x)\\ & =\sum _x\tilde{P}(x)\frac{1}{Z_w(x)}\sum _y\exp \left(\sum _{k=1}^K{w}_k{f}_k(y,x)\right)f_k(y,x)-\sum _{x,y}\tilde{P}(x,y)f_k(y,x)\\ & =\sum _x\tilde{P}(x)\sum _y\frac{\exp \left(\sum _{k=1}^K{w}_k{f}_k(y,x)\right)}{Z_w(x)}{f}_k(y,x)-\sum _{x,y}\tilde{P}(x,y)f_k(y,x)\\ & =\sum _{x,y}\tilde{P}(x)\frac{\exp \left(\sum _{k=1}^K{w}_k{f}_k(y,x)\right)}{Z_w(x)}{f}_k(y,x)-\sum _{x,y}\tilde{P}(x,y)f_k(y,x)\\ & =\sum _{x,y}\tilde{P}(x)P_w(y\mid x)f_k(y,x)-\sum _{x,y}\tilde{P}(x,y)f_k(y,x)\end{array}$$
利用偏导数，采用梯度下降法迭代求解最优 $w$。

3.7.2. 改进的迭代尺度法

改进的迭代尺度法通过迭代的方法不断优化对数似然函数改变量的下界，达到极大化对数似然函数的目的。假设模型的当前参数向量为 $w=(w_1,w_2,\dots ,w_K{)}^T$，向量的增量为 $\delta =({\delta }_1,{\delta }_2,\dots ,{\delta }_K{)}^T$，更新参数向量为 $w+\delta =(w_1+{\delta }_1,w_2+{\delta }_2,\dots ,w_K+{\delta }_K{)}^T$。

转移特征 $t_i$ 的迭代更新方程为
$$\begin{array}{rl}{E}_{\tilde{P}}[t_i]& \stackrel{\mathrm{def}}{=}\sum _{x,y}\tilde{P}(x,y)\sum _{t=1}^{T+1}{t}_i(y_{t-1},y_t,x,t)\\ & =\sum _{x,y}\tilde{P}(x)P(y\mid x)\sum _{t=1}^{T+1}{t}_i(y_{t-1},y_t,x,t)\exp ({\delta }_i{f}^{\#}(x,y)),i=1,2,\dots ,K_1\end{array}\text{\hspace{1em}(18)}$$
状态特征 $s_j$ 的迭代更新方程为
$$\begin{array}{rl}{E}_{\tilde{P}}[s_j]& \stackrel{\mathrm{def}}{=}\sum _{x,y}\tilde{P}(x,y)\sum _{t=1}^{T+1}{s}_j(y_t,x,t)\\ & =\sum _{x,y}\tilde{P}(x)P(y\mid x)\sum _{t=1}^T{s}_j(y_t,x,t)\exp ({\delta }_{K_1+j}{f}^{\#}(x,y)),j=1,2,\dots ,K_2\end{array}\text{\hspace{1em}(19)}$$
其中 $f^{\#}(x,y)$ 是在数据 $(x,y)$ 中出现所有特征数的总和
$$f^{\#}(x,y)=\sum _k{f}_k(y,x)=\sum _{k=1}^K\sum _{t=1}^{T+1}{f}_k(y_{t-1},y_t,x,t)$$
类似于最大熵模型中的 IIS 算法，往往不能保证每个样本的 $f^{\#}(x,y)$ 都相等。为了处理这个问题，定义松弛特征
$$s(x,y)=S-\sum _{t=1}^{T+1}\sum _{k=1}^K{f}_k(y_{t-1},y_t,x,t)$$
其中 $S$ 是一个常数。选择足够大的常数 $S$ 使得对训练数据集的所有数据 $(x,y)$，$s(x,y)\ge 0$ 成立。这时特征总数可取 $S$。

式 $(18)$ 重新写为
$$\sum _{x,y}\tilde{P}(x)P(y\mid x)\sum _{t=1}^{T+1}{t}_i(y_{t-1},y_t,x,t)\exp ({\delta }_{i}S)=E_{\tilde{P}}[t_i]$$
解方程得
$${\delta }_i=\frac{1}{S}\log \frac{E_{\tilde{P}}[t_i]}{E_P[t_i]}$$
其中 $E_{\tilde{P}}[t_i]$ 可以根据训练集直接计算出来，$E_P(t_i)$ 可以表示为
$$E_P(t_i)=\sum _x\tilde{P}(x)\sum _{t=1}^{T+1}\sum _{j,k}{t}_i(y_{t-1}=q_j,y_t=q_k,x,t)\frac{{\alpha }_{t-1}(j)M_t(y_{t-1}=q_j,y_t=q_k\mid x){\beta }_t(k)}{Z(x)}$$
对于式 $(19)$ 可以类似地得到
$$\sum _{x,y}\tilde{P}(x)P(y\mid x)\sum _{t=1}^T{s}_j(y_t,x,t)\exp ({\delta }_{K_1+j}S)=E_{\tilde{P}}[s_j]$$
解方程得
$${\delta }_{K_1+j}=\frac{1}{S}\log \frac{E_{\tilde{P}}[s_j]}{E_P[s_j]}$$
其中 $E_P(s_j)$ 可以表示为
$$E_P(s_j)=\sum _x\tilde{P}(x)\sum _{t=1}^T\sum _i{s}_j(y_t=q_i,x,t)\frac{{\alpha }_t(i){\beta }_t(i)}{Z(x)}$$
以上配合迭代过程称为算法 $S$。在算法 $S$ 中需要使常数 $S$ 取足够大，这样一来，每步迭代的增量向量过小，算法收敛会变慢。算法 $T$ 试图解决这个问题。算法 $T$ 对每个观测序列 $x$ 计算其特征总数最大值 $T(x)$：
$$T(x)=\underset{y}{\max }T(x,y)$$
利用前向后向递推公式，可以计算出 $T(x)$，记 $T(x)=\mathcal{T}$。关于转移特征参数的更新方程可以写成：
$$\begin{array}{rl}{E}_{\tilde{P}}[t_i]& =\sum _{x,y}\tilde{P}(x)P(y\mid x)\sum _{t=1}^{T+1}{t}_i(y_{t-1},y_t,x,t)\exp ({\delta }_{i}T(x))\\ & =\sum _x\tilde{P}(x)\sum _{y}P(y\mid x)\sum _{t=1}^{T+1}{t}_i(y_{t-1},y_t,x,t)\exp ({\delta }_{i}T(x))\\ & =\sum _x\tilde{P}(x)a_{i,\mathcal{T}}\exp ({\delta }_i\mathcal{T})\\ & =\sum _{t=0}^{T_{\max }}{a}_{i,\mathcal{T}}{u}_i^{\mathcal{T}}\end{array}\text{\hspace{1em}(20)}$$
其中，$a_{i,\mathcal{T}}$ 是特征 $t_i$ 的期望 $\sum _{y}P(y\mid x)\sum _{t=1}^{T+1}{t}_i(y_{t-1},y_t,x,t)$，${\delta }_i$ 记为 $\log u_i$。$u_i$ 是多项式方程 $(20)$ 唯一的实根，可以通过牛顿法等方法求得多项式的根，从而求得 ${\delta }_i$。

同样，关于状态特征的参数更新方程可以写成
$$\begin{array}{rl}{E}_{\tilde{P}}[s_j]& =\sum _{x,y}\tilde{P}(x)P(y\mid x)\sum _{t=1}^{T+1}{s}_j(y_{t-1},y_t,x,t)\exp ({\delta }_{K_1+j}T(x))\\ & =\sum _x\tilde{P}(x)\sum _{y}P(y\mid x)\sum _{t=1}^{T+1}{s}_j(y_{t-1},y_t,x,t)\exp ({\delta }_{K_1+j}T(x))\\ & =\sum _x\tilde{P}(x)b_{j,\mathcal{T}}\exp ({\delta }_{K_1+j}\mathcal{T})\\ & =\sum _{t=0}^{T_{\max }}{b}_{j,\mathcal{T}}{v}_j^{\mathcal{T}}\end{array}\text{\hspace{1em}(21)}$$
其中，$b_{j,\mathcal{T}}$ 是特征 $s_j$ 的期望 $\sum _{y}P(y\mid x)\sum _{t=1}^{T+1}{s}_j(y_{t-1},y_t,x,t)$，${\delta }_{K_1+j}$ 记为 $\log v_j$。$v_j$ 是多项式方程 $(21)$ 唯一的实根，可以通过牛顿法等方法求得多项式的根，从而求得 ${\delta }_{K_1+j}$。

算法 $S$ 和算法 $T$ 都是提供了求解增量向量 $\delta$ 的方法，两种算法的具体迭代过程是一致的。简单描述为，对 $w_k$，$k=1,2,\dots ,K$ 设置初始值 $0$；利用算法 $S$ 或算法 $T$ 求解出 ${\delta }_k$，更新 $w_k$ 为 $w_k+{\delta }_k$，直至所有 $w_k$ 都收敛。