【机器学习】最大熵模型【下】最大熵模型学习的最优化算法

有任何的书写错误、排版错误、概念错误等，希望大家包含指正。

由于字数限制，分成两篇博客。
【机器学习】最大熵模型【上】最大熵模型概述与约束最优化问题
【机器学习】最大熵模型【下】最大熵模型学习的最优化算法

5. 模型学习的最优化算法

这里的最优化算法就是用于训练最大熵模型参数的算法，即选取有效的特征函数权重 $w_i$。具体来说，就是极大化对偶函数，确定对偶函数取极大值时的权重 $w_i$。

极大化目标函数（对偶函数）没有显式的解析解。直观上理解，由于问题的约束条件包含的特征函数并非只会被某个样本触发，而是可能被某类样本触发；而且，一个样本很可能触发多个特征函数。这种复杂性让最大熵模型具备足够的泛化能力，但是当一个样本不只触发一个特征时，$P_w$ 中指数项中起作用的权重将不止一个，此时无法求出解析解。

从最优化的观点看，目标函数具有很好的性质。它是光滑的凸函数，因此多种最优化方法都适用，保证能找到全局最优解。常用的方法有梯度下降法、牛顿法以及拟牛顿法。牛顿法和拟牛顿法一般收敛速度较快。但是这里我们不对这些通用方法进行讨论，而将重点放在通用迭代尺度法（Generalized Iterative Scaling，GIS）和改进的迭代尺度法（Improved Iterative Scaling，IIS），因为二者是为最大熵模型量身定制的方法。

不对两种方法进行详细对比。

5.1. 通用迭代尺度法

GIS 算法要求对训练样本集中每个实例的任意 $(x,y)\in \mathcal{X}\times \mathcal{Y}$，特征函数之和为常数，即对每个实例的 $n$ 个特征函数均满足 $\sum _{i=1}^n{f}_i(x,y)=C$（$C$ 为常数）。如果该条件不能满足，则在训练集中取：
$$C=\underset{x\in \mathcal{X},y\in \mathcal{Y}}{\max }\sum _{i=1}^n{f}_i(x,y)$$
$C$ 表示训练集中包含特征最多的那个样本所包含的特征数。另外，增加一个特征函数 $f_m:f_m(x,y)=C-\sum _{i=1}^n{f}_i(x,y)$。其中，$m=n+1$。与其他特征函数不一样，$f_m(x,y)$ 的取值范围为 $0\sim C$。

GIS 算法描述如下：

---

1. 初始化：$w_i=0,i=1,2,\dots ,m$；

2. 根据公式
   $$E_{\tilde{P}}(f_i)=\sum _{x,y}\tilde{P}(x,y)f_i(x,y)$$
   计算每个特征函数 $f_i$ 的训练样本期望值 $E_{\tilde{P}}(f_i)$：

   1. 利用式 $(11)$ 和式 $(12)$ 计算概率 $P(y\mid x)$；

   2. 若满足终止条件，则结束迭代；否则，修正每个 $w_i$：
      $$w_i^{(t+1)}=w_i^{(t)}+\lambda \log \frac{E_{\tilde{P}}(f_i)}{E_{P^{(t)}}(f_i)}$$
      其中 $\lambda$ 类似于学习率；$t$ 为循环迭代次数。继续下轮迭代。

3. 算法结束，确定参数向量 $w$，计算出每个 $P(y\mid x)$。

---

算法中的参数 $\lambda$ 作用类似于学习率，可将其取为 $1$，在实际应用中常取为 $1/C$。迭代公式中的
$$\Delta w_i^{(t)}=\lambda \log \frac{E_{\tilde{P}}(f_i)}{E_{P^{(t)}}(f_i)}$$
为时刻 $t$ 对于特征函数 $f_i$ 权重 $w_i$ 的校正量。其中 $\log \frac{E_{\tilde{P}}(f_i)}{E_{P^{(t)}}(f_i)}$ 的地位相当于梯度下降法中的梯度，但它本身并不是梯度，我们可以这样直观地理解迭代公式：

每次迭代，先利用当前时刻 $t$ 对应的模型参数 $w_i^{(t)}$ 来计算 $E_{P^{(t)}}(f_i)$，然后逐个将其与相应的经验分布期望 $E_{\tilde{P}}(f_i)$ 作比较，其偏差程度通过 $\log \frac{E_{\tilde{P}}(f_i)}{E_{P^{(t)}}(f_i)}$ 进行刻画。具体地

① 若 $E_{P^{(t)}}(f_i)<E_{\tilde{P}}(f_i)$，则 $\Delta w_i^{(t)}>0$，即将 $w_i$ 变大；

② 若 $E_{P^{(t)}}(f_i)>E_{\tilde{P}}(f_i)$，则 $\Delta w_i^{(t)}<0$，即将 $w_i$ 变小；

③ 若 $E_{P^{(t)}}(f_i)=E_{\tilde{P}}(f_i)$，则 $\Delta w_i^{(t)}=0$，保持 $w_i$ 不变。因为当前得到的关于 $f_i$ 的期望值与经验分布期望值相等。

至于迭代终止的条件，可以为限定迭代的次数，也可以是对数似然 $L(P_w)$ 的变化量小于某个阈值，或者最大的权重变化量小于阈值，比如 $\underset{i}{\max }|\log \frac{E_{\tilde{P}}(f_i)}{E_{P^{(t)}}(f_i)}|<\epsilon$。

由于参数向量 $w$ 的收敛速度受 $\lambda$ 取值的影响，而且不稳定，即使在64位计算机上都会出现溢出。因此，在实际应用中很少有人适用 GIS 算法，而是使用改进后的 GIS 算法，即 IIS 算法。

5.2. 改进的迭代尺度法

IIS 的想法是：假设最大熵当前的参数向量是 $w=(w_1,w_2,\dots ,w_n{)}^T$，我们希望找到一个新的参数向量 $w+\delta =(w_1+{\delta }_1,w_2+{\delta }_2,\dots ,w_n+{\delta }_n{)}^T$，使得模型的对数似然函数值增大。如果能有这样一种参数向量更新的方法，那么就可以重复使用这一方法，直至找到对数似然函数的最大值。注意，这里的 $n$ 可以是引入类似于 GIS 算法中新特征函数后的特征函数总数，也可以是未引入的特征函数总数。

模型参数从 $w$ 到 $w+\delta$，对数似然函数 $L(w)$ 的改变量是
$$\begin{array}{rl}L(w+\delta )-L(w)& =\sum _{x,y}\tilde{P}(x,y)\log P_{w+\delta }(y\mid x)-\sum _{x,y}\tilde{P}(x,y)\log P_w(y\mid x)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log \frac{Z_{w+\delta }(x)}{Z_w(x)}\end{array}$$
利用不等式
$$-\log \alpha \ge 1-\alpha ,\alpha >0$$
建立对数似然函数改变量的下界
$$\begin{array}{rl}L(w+\delta )-L(w)& \ge \sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+\sum _x\tilde{P}(x)\left(1-\frac{Z_{w+\delta }(x)}{Z_w(x)}\right)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\frac{Z_{w+\delta }(x)}{Z_w(x)}\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\frac{\sum _y\exp \left(\sum _{i=1}^n(w_i+{\delta }_i)f_i(x,y)\right)}{Z_w(x)}\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y\frac{\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)\exp \left(\sum _{i=1}^n{\delta }_i{f}_i(x,y)\right)}{Z_w(x)}\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y\mid x)\exp \sum _{i=1}^n{\delta }_i{f}_i(x,y)\end{array}$$
将右端记为
$$A(\delta \mid w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y\mid x)\exp \sum _{i=1}^n{\delta }_i{f}_i(x,y)$$
于是有
$$L(w+\delta )-L(w)\ge A(\delta \mid w)$$
即 $A(\delta \mid w)$ 是对数似然函数改变量的一个下界。

如果能找到适当的 $\delta$ 使下界 $A(\delta \mid w)$ 提高，那么对数似然函数也会提高。然而，函数 $A(\delta \mid w)$ 中的 $\delta$ 是一个向量，含有多个变量，不易同时优化。因此，一次只优化其中一个变量 ${\delta }_i$，而固定其他向量 ${\delta }_j$，$i\ne j$。

为了达到这一目的，IIS 进一步降低下界 $A(\delta \mid w)$。具体地，IIS 算法引进一个变量 $f^{\#}(x,y)$
$$f^{\#}(x,y)=\sum _i{f}_i(x,y)$$
因为 $f_i$ 是二值函数，故 $f^{\#}(x,y)$ 表示所有特征信息在 $(x,y)$ 出现的次数。这样，$A(\delta \mid w)$ 可以改写为
$$A(\delta \mid w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y\mid x)\exp \left(f^{\#}(x,y)\sum _{i=1}^n\frac{{\delta }_i{f}_i(x,y)}{f^{\#}(x,y)}\right)\text{\hspace{1em}(16)}$$
利用指数函数的凸性以及对任意 $i$，有 $\frac{f_i(x,y)}{f^{\#}(x,y)}\ge 0$ 且 $\sum _{i=1}^n\frac{f_i(x,y)}{f^{\#}(x,y)}=1$ 这一事实，根据 Jensen 不等式，得到
$$\exp \left(\sum _{i=1}^n\frac{f_i(x,y)}{f^{\#}(x,y)}{\delta }_i{f}^{\#}(x,y)\right)\le \sum _{i=1}^n\frac{f_i(x,y)}{f^{\#}(x,y)}\exp \left({\delta }_i{f}^{\#}(x,y)\right)$$
于是式 $(16)$ 可改写为
$$A(\delta \mid w)\ge \sum _{x,y}P(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y\mid x)\sum _{i=1}^n\left(\frac{f_i(x,y)}{f^{\#}(x,y)}\right)\exp \left({\delta }_i{f}^{\#}(x,y)\right)$$
将右端记为
$$B(\delta \mid w)=\sum _{x,y}P(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y\mid x)\sum _{i=1}^n\left(\frac{f_i(x,y)}{f^{\#}(x,y)}\right)\exp \left({\delta }_i{f}^{\#}(x,y)\right)$$
于是得到
$$L(w+\delta )-L(w)\ge B(\delta \mid w)$$
这里，$B(\delta \mid w)$ 是对数似然函数改变量的一个新的（相对不紧的）下界。

计算 $B(\delta \mid w)$ 对 ${\delta }_i$ 的偏导数：
$$\frac{\partial B(\delta \mid w)}{\partial {\delta }_i}=\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _x\tilde{P}(x)\sum _y{P}_w(y\mid x)f_i(x,y)\exp \left({\delta }_i{f}^{\#}(x,y)\right)$$
上式中，除 ${\delta }_i$ 外不含任何其他变量。令偏导数为 $0$ 得到
$$\sum _{x,y}\tilde{P}(x)P_w(y\mid x)f_i(x,y)\exp \left({\delta }_i{f}^{\#}(x,y)\right)=\sum _{x,y}\tilde{P}(x,y)f_i(x,y)=E_{\tilde{P}}(f_i)\text{\hspace{1em}(17)}$$
求解式 $(17)$ 中的 ${\delta }_i$。如果 $f^{\#}(x,y)$ 是常数，即对任何 $x,y$，有 $f^{\#}(x,y)=1/\lambda$，那么 ${\delta }_i$ 可以显式地表达成
$${\delta }_i=\lambda \log \frac{E_{\tilde{P}}(f_i)}{E_P(f_i)}$$
这与 GIS 算法中的权重校正量不谋而合。可见，IIS 算法是 GIS 算法的推广，GIS 算法是 IIS 算法的一个特例。

如果 $f^{\#}(x,y)$ 不是常数，则需要通过数值方法来求解 ${\delta }_i$，如牛顿法。以 $g({\delta }_i)=0$ 表示方程 $(17)$，牛顿法通过迭代求得 ${\delta }_i^{\ast }$，使得 $g({\delta }_i^{\ast })=0$。迭代公式为
$${\delta }_i^{(t+1)}={\delta }_i^{(t)}-\frac{g({\delta }_i^{(t)})}{g^{\prime }({\delta }_i^{(t)})}$$
注意，函数 $g$ 已经是函数 $B$ 的导函数了，所以 $g^{\prime }$ 相当于 $B$ 的二阶导数。

5.3. 其他算法

最大熵模型学习还可以直接应用梯度下降法、牛顿法或拟牛顿法。

对于最大熵模型而言，需要最大化对偶函数 $\psi (w)$。令 $f(w)=-\psi (w)$，则目标函数定义为
$$\begin{array}{rl}\underset{w}{\min }f(x)& =\sum _x\tilde{P}(x)\log Z_w(x)-\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)\\ & =\sum _x\tilde{P}(x)\log \sum _y\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)-\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)\end{array}$$
梯度为
$$g(w)={\left(\frac{\partial f(w)}{\partial w_1},\frac{\partial f(w)}{\partial w_2},\dots ,\frac{\partial f(w)}{\partial w_n}\right)}^T$$
其中
$$\frac{\partial f(w)}{\partial w_i}=\sum _{x,y}\tilde{P}(x)P_w(y\mid x)f_i(x,y)-E_{\tilde{P}}(f_i),i=1,2,\dots ,n$$
注意区别 IIS 算法中使用牛顿法和这里的牛顿法。两处牛顿法的目标函数是不同的，IIS 算法中是以下界函数 $B$ 为目标函数运用牛顿法优化，而这里是直接以对偶函数或 $f(x)$ 为目标函数运用牛顿法。

具体的拟牛顿法的相关算法不再展开讲解。关于拟牛顿法的相关算法可以阅读参考 [9] 和 [10]。

REF

[1]《统计学习方法（第二版）》李航著

[2] 《统计自然语言处理（第二版）》宗成庆著

[3] Berger A, Della Pietra S A, Della Pietra V J. A maximum entropy approach to natural language processing[J]. Computational linguistics, 1996, 22(1): 39-71.

[4] 最大熵学习笔记（四）模型求解 - CSDN

[5] 最大熵学习笔记（五）最优化算法 - CSDN

[6] 最大熵模型中的对数似然函数的解释 - CSDN

[7] 李航《统计学习方法》最大熵模型p(y|x)推导的正确过程 - 知乎

[8] 最大熵模型中的对数似然函数表示法解释 - 知乎

[9] 【机器学习】梯度下降法与牛顿法【Ⅱ】牛顿法与修正牛顿法 - CSDN

[10] 【机器学习】梯度下降法与牛顿法【Ⅲ】拟牛顿法 - CSDN