统计学习方法读书笔记第六章：逻辑斯谛回归与最大熵模型

统计学习方法读书笔记第六章：逻辑斯谛回归与最大熵模型

逻辑斯谛回归是统计学习中的经典分类方法。最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型。逻辑斯谛回归模型与最大熵模型都属于对数线性模型。

逻辑斯谛回归模型

• 逻辑斯谛分布
  设$X$是连续随机变量，$X$服从逻辑斯d谛分布是指$X$具有下列分布函数和密度函数：
  $$F(x)=P(X\le x)=\frac{1}{1+e^{-(x-\mu )/\gamma }}\text{\hspace{1em}(1)}$$
  $$f(x)=F^{{}^{\prime }}(x)=\frac{e^{-(x-\mu )/\gamma }}{\gamma (1+e^{-(x-\mu )/\gamma }{)}^2}\text{\hspace{1em}(2)}$$
  式中，$\mu$为位置参数，$\gamma >0$为形状参数。
  逻辑斯谛分布的密度函数$f(x)$和分布函数$F(x)$的图形如图所示。分布函数属于逻辑斯谛函数，其图形是一条$S$形曲线。该曲线以点$(\mu ,\frac{1}{2})$为中心对称，即满足
  $$F(-x+\mu )-\frac{1}{2}=-F(x-\mu )+\frac{1}{2}$$
  曲线在中心附近增长速度较快，在两端增长速度较慢。形状参数$\gamma$的值越小，曲线在中心附近增长得越快。
  
• 二项逻辑斯谛回归模型
  二项逻辑斯谛回归模型是一种分类模型，由条件概率分布$P(Y|X)$表示，形式为参数化的逻辑斯谛分布。这里，随机变量$X$取值为实数，随机变量$Y$取值为1或0。通过监督学习的方法来估计模型参数。
  逻辑斯谛回归模型 二项逻辑斯谛回归模型是如下的条件概率分布：
  $$P(Y=1|x)=\frac{exp(w\cdot x+b)}{1+exp(w\cdot x+b)}\text{\hspace{1em}(3)}$$
  $$P(Y=0|x)=\frac{1}{1+exp(w\cdot x+b)}\text{\hspace{1em}(4)}$$
  这里，$x\in R^n$是输入，$Y\in \{0,1\}$是输出，$w\in R^n$和$b\in R$是参数，$w$称为权值向量，$b$称为偏置，$w\cdot x$为$w$和$x$的内积。对于给定的输入实例$x$，可以求得$P(Y=1|x)$和$P(Y=0|x)$。逻辑斯谛回归比较两个条件概率值得大小，将实例$x$分到概率值较大的那一类。
  为了方便，将权值向量和输入向量加以扩充，仍记作$w$，$x$，即$w=(w^{(1)},w^{(2)},\cdots ,w^{(n)},b{)}^T$，$x=(x^{(1)},x^{(2)},\cdots ,x^{(n)},1{)}^T$。这时，逻辑斯谛回归模型如下：
  $$P(Y=1|x)=\frac{exp(w\cdot x)}{1+exp(w\cdot x)}\text{\hspace{1em}(5)}$$
  $$P(Y=0|x)=\frac{1}{1+exp(w\cdot x)}\text{\hspace{1em}(6)}$$
  逻辑斯谛回归模型的特点。一个事件的几率是指该事件发生与该事件不发生的概率的壁纸。如果事件发生的概率是$p$，那么该事件的几率是$\frac{p}{1-p}$，该事件的对数几率或logit函数是
  $$logit(p)=log\frac{p}{1-p}$$
  对逻辑斯谛回归而言，可得
  $$log\frac{P(Y=1|x)}{1-P(Y=1|x)}=w\cdot x$$
  这就是说，在逻辑斯谛回归模型中，输出$Y=1$的对书记吕是输入$x$的线性函数。换一个角度看，考虑对输入$x$进行分类的线性函数$w\cdot x$，其值域为实数域。这时，线性函数的值越接近正无穷，概率值就越接近1；线性函数的值越接近负无穷，概率值就越接近0。这样的模型就是逻辑斯谛回归模型。
• 模型参数估计
  逻辑斯谛回归模型学习时，对于给定的训练数据集$T=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}$，其中，$x_i\in R^n$，$y_i\in \{0,1\}$，可以用极大似然估计法估计模型参数，从而得到逻辑斯谛回归模型。
  设：$P(Y=1|x)=\pi (x),P(Y=0|x)=1-\pi (x)$
  似然函数为
  $$\prod _{i=1}^N[\pi (x_i){]}^{y_i}[1-\pi (x_i){]}^{1-y_i}$$
  对数似然函数为
  $$\begin{array}{rl}L(w)& =\sum _{i=1}^N[y_{i}log\pi (x_i)+(1-y_i)log(1-\pi (x_i))]\\ & =\sum _{i=1}^N[y_{i}log\frac{\pi (x_i)}{1-\pi (x_i)}+log(1-\pi (x_i))]\\ & =\sum _{i=1}^N[y_i(w\cdot x_i)-log(1+exp(w\cdot x_i))]\end{array}$$
  对$L(w)$求极大值，得到$w$的估计值。这样，问题变成了以对数似然函数为目标函数的最优化问题。逻辑斯谛回归学习中通常采用的方法是梯度下降法及拟牛顿法。
• 多项逻辑斯谛回归
  可以将二项分类模型推广位多项逻辑斯谛回归模型，用于多类分类。假设离散型随机变量$Y$的取值集合石$\{1,2,\cdots ,K\}$。那么多项逻辑斯谛回归模型是
  $$P(Y=k|x)=\frac{exp(w_k\cdot x)}{1+{\sum }_{k=1}^{K-1}exp(w_k\cdot x)}，k=1,2,\cdots ,K-1\text{\hspace{1em}(7)}$$
  $$P(Y=K|x)=\frac{1}{1+{\sum }_{k=1}^{K-1}exp(w_k\cdot x)}\text{\hspace{1em}(8)}$$
  这里，$x\in R^{n+1}$，$w_k\in R^{n+1}$。二项逻辑斯谛回归的参数估计法也可以推广到多项逻辑斯谛回归。

最大熵模型

最大熵模型由最大熵原理推导实现。

• 最大熵原理
  最大熵原理是概率模型学习的一个准则。最大熵原理认为，学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型。通常用约束条件来确定概率模型的集合，所以，最大熵原理也可以表述为在满足约束条件的模型集合中选取熵最大的模型。
  假设离散随机变量$X$的概率分布是$P(X)$，则其熵是
  $$H(P)=-\sum _{x}P(x)logP(x)\text{\hspace{1em}(9)}$$
  熵满足下列不等式：
  $$0\le H(P)\le log|X|$$
  式中，$|X|$是$X$的取值个数，当且仅当$X$的分布是均匀分布时右边的等号成立。也就是说，当$X$服从均匀分布时，熵最大。直观地，最大熵原理认为要选择的概率模型首先必须满足已有的事实，即约束条件。在没有更多信息的情况下，那些不确定的部分都是“等可能的”。最大熵原理通过熵的最大化来表示等可能性。“等可能”不容易操作，而熵则是一个可优化的数值指标。
• 最大熵模型的定义
  最大熵原理是统计学习的一般原理，将它应用到分类得到最大熵模型。
  假设分类模型是一个条件概率分布$P(Y|X)$，$X\in \mathcal{X}\subseteq R^n$表示输入，$Y\in \mathcal{Y}$表示输出，$\mathcal{X}$和$\mathcal{Y}$分别是输入和输出的集合。这个模型表示的是对于给定的输入$X$，以条件概率$P(Y|X)$输出$Y$。
  给定一个训练数据集
  $$T=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}$$
  学习的目标是用最大熵原理选择最好的分类模型。
  首先考虑模型应该满足的条件。给定训练数据集，可以确定联合分布$P(X,Y)$的经验分布和边缘分布$P(X)$的经验分布，分别以$\tilde{P}(X,Y)$和$\tilde{P}(X)表示。这里$，
  $$\begin{array}{rl}& \tilde{P}(X=x,Y=y)=\frac{\nu (X=x,Y=y)}{N}\\ & \tilde{P}(X=x)=\frac{\nu (X=x)}{N}\end{array}$$
  其中，$\nu (X=x,Y=y)$表示训练数据中样本$(x,y)$出现的频数，$\nu (X=x)$表示训练数据中输入$x$出现的频数，$N$表示样本容量。
  用特征函数$f(x,y)$描述输入$x$和输出$y$之间的某一个事实。其定义是
  $$f(x,y)=\{\begin{array}{cc}1,& x与y满足某一事实\\ 0,& 否则\end{array}$$
  它是一个二值函数，当$x$和$y$满足这个事实时取值为1，否则取值为0。
  特征函数$f(x,y)$关于经验分布$\tilde{P}(X,Y)$的期望值，用$E_{\tilde{P}}(f)$表示。
  $$E_{\tilde{P}}(f)=\sum _{x,y}\tilde{P}(x,y)f(x,y)$$
  特征函数$f(x,y)$关于模型$P(Y|X)$的经验分布$\tilde{P}(X)$的期望值，用$E_P(f)$表示。
  $$E_P(f)=\sum _{x,y}\tilde{P}(x)P(y|x)f(x,y)$$
  如果模型能够获取训练数据中的信息，那么就可以假设这两个期望值相等，即
  $$E_P(f)=E_{\tilde{P}}(f)\text{\hspace{1em}(10)}$$
  或
  $$\sum _{x,y}\tilde{P}(x)P(y|x)f(x,y)=\sum _{x,y}\tilde{P}(x,y)f(x,y)\text{\hspace{1em}(11)}$$
  将式(10)或式(11)作为模型学习的约束条件。假如有$n$个特征函数$f_i(x,y),i=1,2,\cdots ,n$，那么就有$n$个约束条件。
  最大熵模型 假设满足所有约束条件的模型集合为
  $$\mathcal{C}\equiv \{P\in \mathcal{P}|E_P(f_i)=E_{\tilde{P}}(f_i),i=1,2,\cdots ,n\}\text{\hspace{1em}(12)}$$
  定义在条件概率分布$P(Y|X)$上的条件熵为
  $$H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)\text{\hspace{1em}(13)}$$
  则模型集合$\mathcal{C}$中条件熵$H(P)$最大的模型称为最大熵模型。式中的对数为自然对数。
• 最大熵模型的学习
  最大熵模型的学习过程就是求解最大熵模型的过程。最大熵模型的学习可以形式化为约束最优化问题。
  对于给定的训练数据集$T=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}$以及特征函数$f_i(x,y),i=1,2,\cdots ,n$，最大熵模型的学习等价于约束最优化问题：
  $$\begin{array}{rl}\underset{P\in C}{\max }& H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)\\ s.t.& E_P(f_i)=E_{\tilde{P}}(F_i),i=1,2,\cdots ,n\\ & \sum _{y}P(y|x)=1\end{array}$$
  按照最优化问题的习惯，将求最大值问题改写为等价的求最小值问题：
  $$\underset{P\in C}{\min }-H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)\text{\hspace{1em}(14)}$$
  $$s.t.E_P(f_i)-E_{\tilde{P}}(F_i)=0,i=1,2,\cdots ,n\text{\hspace{1em}(15)}$$
  $$\sum _{y}P(y|x)=1\text{\hspace{1em}(16)}$$
  求解约束最优化问题所得出的解，就是最大熵模型学习的解。下面给出具体推导。
  这里，将约束最优化的原始问题转换为无约束最优化的对偶问题。通过求解对偶问题求解原始问题。
  首先，引进拉格朗日乘子$w_0,w_1,w_2,\cdots ,w_n$，定义拉格朗日函数$L(P,w)$：
  $$\begin{array}{rl}L(P,w)& \equiv -H(P)+w_0(1-\sum _{y}P(y|x))+\sum _{i=1}^n{w}_i(E_{\tilde{P}}(f_i)-E_P(f_i))\\ & =\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)+w_0(1-\sum _{y}P(y|x))\\ & +\sum _{i=1}^n(\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _{x,y}\tilde{P}(x)P(y|x)f_i(x,y))\end{array}\text{\hspace{1em}(17)}$$
  最优化的原始问题是
  $$\underset{P\in C}{\min }\underset{w}{\max }L(P,w)\text{\hspace{1em}(18)}$$
  对偶问题是
  $$\underset{w}{\max }\underset{P\in C}{\min }L(P,w)\text{\hspace{1em}(19)}$$
  由于拉格朗日函数$L(P,w)$是$P$的凸函数，原始问题的解与对偶问题的解是等价的。这样，可以通过求解对偶尔难题来求解原始问题。
  首先，求解对偶问题内部的极小化问题${\min }_{P\in C}L(P,w)$。${\min }_{P\in C}$是$w$的函数，将其记作
  $$\Psi (w)=\underset{P\in C}{\min }L(P,w)=L(P_w,w)\text{\hspace{1em}(20)}$$
  $\Psi (w)$称为对偶函数。同时，将其解记作
  $$P_w=arg\underset{P\in C}{\min }L(P,w)=P_w(y|x)\text{\hspace{1em}(21)}$$
  具体地，求$L(P,w)$对$P(y|x)$的偏导数
  $$\begin{array}{rl}\frac{\partial L(P,w)}{\partial P(y|x)}& =\sum _{x,y}\tilde{P}(x)(logP(y|x)+1)-\sum _y{w}_0-\sum _{x,y}(\tilde{P}(x)\sum _{i=1}^n{w}_i{f}_i(x,y))\\ & =\sum _{x,y}\tilde{P}(x)(logP(y|x)+1-w_0-\sum _{i=2}^n{w}_i{f}_i(x,y))\end{array}$$
  令偏导数等于0，在$\tilde{P}(x)>0$的情况下，解得
  $$P(y|x)=exp(\sum _{i=1}^n{w}_i{f}_i(x,y)+w_0-1)=\frac{exp({\sum }_{i=1}^n{w}_i{f}_i(x,y))}{exp(1-w_0)}$$
  由于${\sum }_{y}P(y|x)=1$，得
  $$P_w(y|x)=\frac{1}{Z_w(x)}exp(\sum _{i=1}^n{w}_i{f}_i(x,y))\text{\hspace{1em}(22)}$$
  其中
  $$Z_w(x)=\sum _{y}exp(\sum _{i=1}^n{w}_i{f}_i(x,y))\text{\hspace{1em}(23)}$$
  $Z_w(x)$称为规范化因子；$f_i(x,y)$是特征函数；$w_i$是特征的权值。由上式表示的模型$P_w=P_w(y|x)$就是最大熵模型。这里，$w$是最大熵模型中的参数向量。
  之后，求解对偶问题外部的极大化问题
  $$\underset{w}{\max }\Psi (w)\text{\hspace{1em}(24)}$$
  将其解记为$w^{\ast }$，即
  $$w^{\ast }=\arg \underset{w}{\max }\Psi (w)\text{\hspace{1em}(25)}$$
  这就是说，可以应用最优化算法求对偶函数$\Psi (w)$的极大化，得到$w^{\ast }$，用来表示$P^{\ast }\in (C)$。这里，$P^{\ast }=P_{w^{\ast }}=P_{w^{\ast }}(y|x)$是学习到的最优模型（最大熵模型）。也就是说，最大熵模型的学习归结为对偶函数$\Psi (w)$的极大化。
• 极大似然估计
  对偶函数的极大化等价于最大熵模型的极大似然估计。
  已知训练数据的经验概率分布$\tilde{P}(X,Y)$，条件概率分布$P(Y|X)$的对数似然函数表示为
  $$L_{\tilde{P}}(P_w)=\log \prod _{x,y}P(y|x{)}^{\tilde{P}(x,y)}=\sum _{x,y}\tilde{P}(x,y)\log P(y|x)$$
  当条件概率分布$P(y|x)$是最大熵模型(22)和(23)时，对数似然函数$L_{\tilde{P}}(P_w)$为
  $$\begin{array}{rl}{L}_{\tilde{P}}(P_w)& =\sum _{x,y}\tilde{P}(x,y)\log P(y|x)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _{x,y}\tilde{P}(x,y)\log Z_w(x)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log Z_w(x)\end{array}\text{\hspace{1em}(26)}$$
  再看对偶函数$\Psi (w)$。由式(17)及式(20)可得
  $$\begin{array}{rl}\Psi (w)& =\sum _{x,y}\tilde{P}(x)P_w(y|x)\log P_w(y|x)\\ & +\sum _{i=1}^n{w}_i(\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _{x,y}\tilde{P}(x)P_w(y|x)f_i(x,y))\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)+\sum _{x,y}\tilde{P}(x)P_w(y|x)(\log P_w(y|x)-\sum _{i=1}^n{w}_i{f}_i(x,y))\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _{-x,y}\tilde{P}(x)P_w(y|x)\log Z_w(x)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log Z_w(x)\end{array}\text{\hspace{1em}(27)}$$
  最后一步用到${\sum }_{y}P(y|x)=1$。
  比较式(26)和式(27)，可得
  $$\Psi (w)=L_{\tilde{P}}(P_w)$$
  既然对偶函数$\Psi (w)$等价于对数似然函数$L_{\tilde{P}}(P_w)$，于是证明了最大熵模型学习中的对偶函数极大化等价于最大熵模型的极大似然估计这一事实。
  这样，最大熵模型的学习问题就转换为具体求解对数似然函数极大化或对偶函数极大化的问题。
  可以将最大熵模型写成更一般的形式。
  $$P_w(y|x)=\frac{1}{Z_w(x)}\exp (\sum _{i=1}^n{w}_i{f}_i(x,y))\text{\hspace{1em}(28)}$$
  其中，
  $$Z_w(x)=\sum _y\exp (\sum _{i=1}^n{w}_i{f}_i(x,y))\text{\hspace{1em}(29)}$$
  这里，$x\in R^n$为输入，$y\in \{1,2,\cdots ,K\}$为输出，$w\in R^n$为权值向量，$f_i(x,y),i=1,2,\cdots ,n$为任意实值特征函数。
  最大熵模型与逻辑斯蒂回归模型有类似的形式，它们又称为对数线性模型。模型学习就是在给定的训练数据条件下对模型进行极大似然估计或正则化的极大似然估计。

模型学习的最优化方法

逻辑斯蒂回归模型、最大熵模型学习归结为以似然函数为目标函数的最优化问题，通常通过迭代算法求解。从最优化的观点看，这时的目标函数具有很好的性质。它是光滑的凸函数，因此多种最优化的方法都适用，保证能找到全局最优解。常用的方法有改进的迭代尺度法、梯度下降法、牛顿法或拟牛顿法。牛顿法或拟牛顿法一般收敛速度更快。
下面介绍基于改进的迭代尺度法与拟牛顿法的最大熵模型学习算法。

• 改进的迭代尺度法
  改进的迭代尺度法（improved iterative scaling, IIS）是一种最大熵模型学习的最优化算法。
  已知最大熵模型为
  $$P_w(y|x)=\frac{1}{Z_w(x)}\exp (\sum _{i=1}^n{w}_i{f}_i(x,y))$$
  其中，
  $$Z_w(x)=\sum _y\exp (\sum _{i=1}^n{w}_i{f}_i(x,y))$$
  对数似然函数为
  $$L(w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log Z_w(x)$$
  目标是通过极大似然估计学习模型参数，即求对数似然函数的极大值$\hat{w}$。
  IIS的想法是：假设最大熵模型当前的参数向量是$w=(w_1,w_2,\cdots ,w_n{)}^T$，我们希望找到一个新的参数向量$w+\delta =(w_1+{\delta }_1,w_2+{\delta }_2,\cdots ,w_n+{\delta }_n{)}^T$，使得模型的对数似然函数值增大。如果能有这样一种参数向量更新的方法$\tau$：$w\to w+\delta$，那么就可以重复使用这一方法，直至找到对数似然函数的极大值。
  对于给定的经验分布$\tilde{P}(x,y)$，模型参数从$w$到$w+\delta$，对数似然函数的改变量是
  $$\begin{array}{rl}L(w+\delta )-L(w)& =\sum _{x,y}\tilde{P}(x,y)\log P_{w+\delta }(y|x)-\sum _{x,y}\tilde{P}(x,y)\log P_w(y|x)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log \frac{Z_{w+\delta }(x)}{Z_w(x)}\end{array}$$
  利用不等式
  $$-\log \alpha \ge 1-\alpha ,\alpha >0$$
  建立对数似然函数改变量的下界：
  $$\begin{array}{rl}L(w+\delta )-L(w)& \ge \sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\frac{Z_{w+\delta }(x)}{Z_w(x)}\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\exp \sum _{i=1}^n{\delta }_i{f}_i(x,y)\end{array}$$
  将右端记为
  $$A(\delta |w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\exp \sum _{i=1}^n{\delta }_i{f}_i(x,y)$$
  于是有
  $$L(w+\delta )-L(w)\ge A(\delta |w)$$
  即$A(\delta |w)$是对数似然函数改变量的一个下界。
  如果能找到适当的$\delta$使下界$A(\delta |w)$提高，那么对数似然函数也会提高。然而，函数$A(\delta |w)$中的$\delta$是一个向量，含有多个变量，不易同时优化。IIS试图一次只优化其中一个变量${\delta }_i$，而固定其他变量${\delta }_j$，$i̸=j$。
  为达到这一目的，IIS进一步降低下界$A(\delta |w)$。具体地，IIS引进一个量$f^{\ast }(x,y)$，
  $$f^{♯}(x,y)=\sum _i{f}_i(x,y)$$
  因为$f_i$是二值函数，故$f^{♯}(x,y)$表示所有特征在$(x,y)$出现的次数。这样，$A(\delta |w)$可以改写成
  $$A(\delta |w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\exp (f^{♯}(x,y)\sum _{i=1}^n\frac{{\delta }_i{f}_i(x,y)}{f^{♯}(x,y)})\text{\hspace{1em}(30)}$$
  利用指数函数的凸性以及对任意$i$，有$\frac{f_i(x,y)}{f^{♯}(x,y)}\ge 0$且${\sum }_{i=1}^n\frac{f_i(x,y)}{f^{♯}(x,y)}=1$这一事实，根据Jensen不等式，得到
  $$\exp (\sum _{i=1}^n\frac{f_i(x,y)}{f^{♯}(x,y)}{\delta }_i{f}^{♯}(x,y))\le \sum _{i=1}^n\frac{f_i(x,y)}{f^{♯}(x,y)}\exp ({\delta }_i{f}^{♯}(x,y))$$
  于是式(30)可写成
  $$A(\delta |w)\ge \sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\sum _{i=1}^n\left(\frac{f_i(x,y)}{f^{♯}(x,y)}\right)\exp ({\delta }_i{f}^{\ast }(x,y))\text{\hspace{1em}(31)}$$
  记不等式(31)右端为
  $$B(\delta |w)=\sum x,y\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\sum _{i=1}^n\frac{f_i(x,y)}{f^{♯}(x,y)}\exp ({\delta }_i{f}^{\ast }(x,y))$$
  于是得到
  $$L(w+\delta )-L(w)\ge B(\delta |w)$$
  这里，$B(\delta |w)$是对数似然函数改变量的一个新的（相对不紧的）下界。
  求$B(\delta |w)$对${\delta }_i$的偏导数：
  $$\frac{\partial B(\delta |w)}{\partial {\delta }_i}=\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)f_i(x,y)\exp ({\delta }_i{f}^{♯}(x,y))\text{\hspace{1em}(32)}$$
  在式(32)里，除${\delta }_i$外不含任何其他变量。令偏导数为0得到
  $$\sum _{x,y}\tilde{P}(x)P_w(y|x)f_i(x,y)\exp ({\delta }_i{f}^{♯}(x,y))=E_{\tilde{P}}(f_i)\text{\hspace{1em}(33)}$$
  于是，依次对${\delta }_i$求解方程(33)可以求出$\delta$。
  这就给出了一种求$w$的最优解的迭代方法，即改进的迭代尺度算法IIS。
  算法1（改进的迭代尺度算法IIS）
  输入：特征函数$f_1,f_2,\cdots ,f_n$；经验分布$\tilde{P}(X,Y)$，模型$P_w(y|x)$
  输出：最有参数值$w_i^{\ast }$；最优模型$P_{w^{\ast }}$。
  (1) 对所有$i\in \{1,2,\cdots ,n\}$，取初值$w_i=0$
  (2) 对每一$i\in \{1,2,\cdots ,n\}$：
  (a) 令${\delta }_i$是方程
  $$\sum _{x,y}\tilde{P}(x)P(y|x)f_i(x,y)\exp ({\delta }_i{f}^{♯}(x,y))=E_{\tilde{P}}(f_i)$$
  的解，这里，
  $$f^{♯}(x,y)=\sum _{i=1}^n{f}_i(x,y)$$
  (b) 更新$w_i$值：$w_i\leftarrow w_i+{\delta }_i$
  (3) 如果不是所有$w_i$都收敛，重复步(2)。
  这一算法关键的一步是(a)，即求解方程(33)中的${\delta }_i$。如果$f^{♯}(x,y)$是常数，即对任何$x$,y，有$f^{♯}(x,y)=M$，那么${\delta }_i$可以显式地表示成
  $${\delta }_i=\frac{1}{M}\log \frac{E_{\tilde{P}}(f_i)}{E_P(f_i)}\text{\hspace{1em}(34)}$$
  如果$f^{♯}(x,y)$不是常数，那么必须通过数值计算求${\delta }_i$，简单有效的方法是牛顿法。以$g({\delta }_i)=0$表示方程(33)，牛顿法通过迭代求得${\delta }_i^{\ast }$，使得$g({\delta }_i^{\ast })=0$。迭代公式是
  $${\delta }_i^{(k+1)}={\delta }_i^{(k)}-\frac{g({\delta }_i^{(k)})}{g^{\prime }({\delta }_i^{(k)})}\text{\hspace{1em}(35)}$$
  只要适当选取初始值${\delta }_i^{(0)}$，由于${\delta }_i$的方程(33)有单根，因此牛顿法恒收敛，而且收敛速度很快。

• 拟牛顿法
  最大熵模型学习还可以应用牛顿法或拟牛顿法。
  对于最大熵模型而言
  $$P_w(y|x)=\frac{\exp ({\sum }_{i=1}^n{w}_i{f}_i(x,y))}{{\sum }_y\exp ({\sum }_{i=1}^n{w}_i{f}_i(x,y))}$$
  目标函数：
  $$\underset{w\in R^n}{\min }f(w)=\sum _x\tilde{P}(x)\log \sum _y\exp (\sum _{i=1}^n{w}_i{f}_i(x,y))-\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)$$
  梯度：
  $$g(w)=(\frac{\partial f(w)}{\partial w_1},\frac{\partial f(w)}{\partial w_2},\cdots ,\frac{\partial f(w)}{\partial w_n}{)}^T$$
  其中，
  $$\frac{\partial f(w)}{\partial w_i}=\sum _{x,y}\tilde{P}(x)P_w(y|x)f_i(x,y)-E_{\tilde{P}}(f_i),i=1,2,\cdots ,n$$
  相应的拟牛顿法BFGS算法如下。
  算法2（最大熵模型学习的BFGS算法）
  输入：特征函数$f_1,f_2,\cdots ,f_n$；经验分布$\tilde{P}(x,y)$，目标函数$f(w)$，梯度$g(w)=▽f(w)$，精度要求$\epsilon$；
  输出：最有参数值$w^{\ast }$；最优模型$P_{w^{\ast }}(y|x)$。
  (1) 选定初始值$w^{(0)}$，取$B_0$为正定对称矩阵，置$k=0$
  (2) 计算$g_k=g(w^{(k)})$。若$||g_k||<\epsilon$，则停止计算，得$w^{\ast }=w^{(k)}$；否则转(3)
  (3) 由$B_k{p}_k=-g_k$求出$p_k$
  (4) 一维搜索：求${\lambda }_k$使得
  $$f(w^{(k)}+{\lambda }_k{p}_k)=\underset{\lambda \ge 0}{\min }f(w^{(k)}+\lambda p_k)$$
  (5) 置$w^{(k+1)}=w^{(k)}+{\lambda }_k{p}_k$
  (6) 计算$g_{k+1}=g(w^{(k+1)})$，若$||g_k||<\epsilon$，则停止计算，得$w^{\ast }=w^{(k+1)}$，否则，按下式求出$B_{k+1}$:
  $$B_{k+1}=B_k+\frac{y_k{y}_k^T}{y_k^T{\delta }_k}-\frac{B_k{\delta }_k{\delta }_k^T{B}_k}{{\delta }_k^T{B}_k{\delta }_k}$$
  其中，
  $$y_k=g_{k+1}-g_k,{\delta }_k=w^{(k+1)}-w^{(k)}$$
  (7) 置$k=k+1$，转(3)。