最大熵模型 (maximum entropy model)

• 本文为《统计学习方法》的读书笔记

最大熵原理

• 最大熵原理是概率模型学习的一个准则。最大熵原理认为，学习概率模型时，在所有可能的概率模型 (分布) 中，熵最大的模型是最好的模型。所以，最大熵原理也可以表述为在满足约束条件的模型集合中选取熵最大的模型

---

最大熵原理的直观解释

• 假设离散随机变量 $X$ 的概率分布是 $P(X)$， 则其熵是
  熵满足下列不等式:
  当 $X$ 服从均匀分布时，熵最大
• 直观地，最大熵原理认为要选择的概率模型首先必须满足已有的事实，即约束条件。在没有更多信息的情况下，那些不确定的部分都是 “等可能的”。最大熵原理通过熵的最大化来表示等可能性

---

例

最大熵模型的定义

• 最大熵原理是统计学习的一般原理，将它应用到分类得到最大熵模型
• 假设分类模型是一个条件概率分布 $P(Y|X)$，$X\in {\mathbb{R}}^n$. 给定一个训练数据集
  学习的目标是用最大熵原理选择最好的分类模型

最大熵模型的约束条件

• 给定训练数据集，可以确定联合分布 $P(X,Y)$ 的经验分布 $\tilde{P}(X,Y)$ 和边缘分布 $P(X)$ 的经验分布 $\tilde{P}(X)$
  其中，$\nu (X=x,Y=y)$ 表示训练数据中样本 $(x,y)$ 出现的频数，$\nu (X=x)$ 表示训练数据中输入 $x$ 出现的频数，$N$ 表示训练样本容量
• 用特征函数 (feature function) $f(x,y)$ 描述输入 $x$ 和输出 $y$ 之间的某一个事实：
  特征函数 $f(x,y)$ 关于经验分布 $\tilde{P}(X,Y)$ 的期望值，用 $E_{\tilde{P}}(f)$ 表示:
  特征函数 $f(x,y)$ 关于模型 $P(Y|X)$ 与经验分布 $\tilde{P}(X)$ 的期望值，用 $E_P(f)$ 表示:
  如果模型能够获取训练数据中的信息，那么就可以假设这两个期望值相等，即
  或上式即为模型学习的约束条件。假如有 $n$ 个特征函数 $f_i(x,y),i=1,...,n$，那么就有 $n$ 个约束条件

最大熵模型的定义

最大熵模型的学习

约束最优化问题

• 最大熵模型的学习等价于约束最优化问题:
  按照最优化问题的习惯，将求最大值问题改写为等价的求最小值问题:
  上述约束最优化问题满足 Convex + Slater 条件，因此可以转为求解其对偶问题

对偶问题 (求解最大熵模型)

• 首先，引进拉格朗日乘子 $w_0,...,w_n$，定义拉格朗日函数 $L(P,w)$
  对偶问题是
  
• 首先求解极小化问题 ${\min }_{P\in C}L(P,w)$。将 ${\min }_{P\in C}L(P,w)$ 记作 $\psi (w)$：
  $\psi (w)$ 称为对偶函数。同时，将其解记作
  具体地，求 $L(P,w)$ 对 $P(y|x)$ 的偏导数
  $$\begin{array}{rl}\frac{\partial L(P,w)}{\partial P(y\mid x)}& =\tilde{P}(x)(\log P(y\mid x)+1)-w_0-\tilde{P}(x)\sum _{i=1}^n{w}_i{f}_i(x,y)\\ & =\tilde{P}(x)\left(\log P(y\mid x)+1-w_0-\sum _{i=1}^n{w}_i{f}_i(x,y)\right)\end{array}$$令偏导数等于 0，在 $\tilde{P}(x)>0$ 的情况下，解得
  由于 ${\sum }_{y}P(y|x)=1$，得
  其中，
  $Z_w(x)$ 称为规范化因子; $f_i(x,y)$ 是特征函数; $w_i$ 是特征的权值
• 之后，求解对偶问题外部的极大化问题，并记其解为 $w^{\ast }$
  这就是说，可以应用最优化算法求对偶函数 $\psi (w)$ 的极大化，得到 $w^{\ast }$，然后得到的 $P_{w^{\ast }}(y|x)$ 即为学习到的最大熵模型

最大熵模型的更一般形式

• 其中，
  $x\in {\mathbb{R}}^n$ 为输入，$y\in \{1,2,...,k\}$ 为输出，$w\in {\mathbb{R}}^n$ 为权值向量，$f_i(x,y),i=1,2,...,n$ 为任意实值特征函数
• 最大熵模型与逻辑斯谛回归模型有类似的形式，它们又称为对数线性模型 (log linear model)。模型学习就是在给定的训练数据条件下对模型进行极大似然估计或正则化的极大似然估计 (下面会证明对偶函数的极大化等价于最大熵模型的极大似然估计)

小例子

极大似然估计

Ref: 最大熵模型中的对数似然函数表示法解释

• 下面证明对偶函数的极大化等价于最大熵模型的极大似然估计

最大熵模型的极大似然函数

• 已知训练数据的经验概率分布 $\tilde{P}(X,Y)$，则条件概率分布 $P(Y|X)$ 的对数似然函数为
  $$\begin{array}{rl}L& =\log \prod _{i=1}^{n}P(x_i,y_i)\end{array}$$样本集中会有很多值相同的样本，即 $(x_i,y_i)=(x_j,y_j)(i\ne j)$。假设样本的取值为 $k$ 个，分别为 $\{(v_1,w_1),...,(v_k,w_k)\}$，用 $c(v_i,w_i)$ 表示训练集中样本值为 $(v_i,w_i)$ 的频数，则公式对数似然函数可以表示为
  $$\begin{array}{rl}L& =\log \prod _{i=1}^{k}P(v_i,w_i{)}^{c(v_i,w_i)}\end{array}$$等号两边同时开 $n$ 次方，可得
  $$\begin{array}{rl}{L}^{\frac{1}{n}}& =\log \prod _{i=1}^{k}P(v_i,w_i{)}^{\frac{c(v_i,w_i)}{n}}\\ & =\log \prod _{i=1}^{k}P(v_i,w_i{)}^{\tilde{P}(v_i,w_i)}\\ & =\log \prod _{x,y}P(x,y{)}^{\tilde{P}(x,y)}\\ & =\sum _{x,y}\tilde{P}(x,y)\log P(x,y)\\ & \approx \sum _{x,y}\tilde{P}(x,y)\log [\tilde{P}(x)P(y|x)]\\ & =\sum _{x,y}\tilde{P}(x,y)\log P(y|x)+\sum _{x,y}\tilde{P}(x,y)\log \tilde{P}(x)\end{array}$$注意到，上式中的后一项 ${\sum }_{x,y}\tilde{P}(x,y)\log \tilde{P}(x)$ 其实只是一个常数，因此最大化对数似然函数就等价于最大化
  $$\begin{array}{rl}{L}_{\tilde{P}}(P_w)& =\sum _{x,y}\tilde{P}(x,y)\log P(y|x)\end{array}$$其中，${\sum }_{x,y}$ 表示遍历 $x,y$ 的所有可能取值，而非遍历整个训练集
• 当条件概率分布 $P(y|x)$ 是最大熵模型，即
  时，对数似然函数 $L_{\tilde{P}}(P_w)$ 为
  

最大熵模型的对偶函数

极大似然估计与对偶函数极大化

• 可见，
  因此最大熵模型学习中的对偶函数极大化等价于最大熵模型的极大似然估计。这样，最大熵模型的学习问题就转换为具体求解对数似然函数极大化或对偶函数极大化的问题

模型学习的最优化算法

• 下面讲解如何极大化对数似然函数 $L_{\tilde{P}}(P_w)$，求出 $w^{\ast }$：
  $$w^{\ast }=\underset{w}{\mathrm{argmax}}\psi (w)=\underset{w}{\mathrm{argmax}}{L}_{\tilde{P}}(P_w)$$其中，对数似然函数为
  $$\begin{array}{rl}{L}_{\tilde{P}}(P_w)& =\sum _{x,y}\tilde{P}(x,y)\log P_w(y|x)\end{array}$$最大熵模型为
  
• 从最优化的观点看，这时的目标函数 (对数似然函数) 具有很好的性质。它是光滑的凸函数，因此多种最优化的方法都适用，保证能找到全局最优解
  • 常用的方法有改进的迭代尺度法、梯度下降法、牛顿法或拟牛顿法。牛顿法或拟牛顿法一般收敛速度更快

下面介绍基于改进的迭代尺度法与拟牛顿法的最大熵模型学习算法

改进的迭代尺度法 (improved iterative scaling, IIS)

• 改进的迭代尺度法是一种最大熵模型学习的最优化算法。IIS 的想法是: 假设最大熵模型当前的参数向量是 $w=(w_1,...,w_n{)}^T$，我们希望找到一个新的参数向量 $w+\delta =(w_1+{\delta }_1,...,w_n+{\delta }_n{)}^T$，使得模型的对数似然函数值增大

---

• 对于给定的经验分布 $\tilde{P}(x,y)$，模型参数从 $w$ 到 $w+\delta$，对数似然函数的改变量是
  利用不等式
  建立对数似然函数改变量的下界:
  将下界记为 $A(\delta |w)$
  如果能找到适当的 $\delta$ 使下界 $A(\delta |w)$ 提高，那么对数似然函数也会提高。然而，函数 $A(\delta |w)$ 中的 $\delta$ 是一个向量，含有多个变量，不易同时优化。IIS 试图一次只优化其中一个变量 ${\delta }_i$， 而固定其他变量 ${\delta }_j$，$i\ne j$。但此时如果我们计算 $A(\delta |w)$ 对 ${\delta }_i$ 的偏导：
  $$\frac{\partial A(\delta |w)}{\partial {\delta }_i}=\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _x\tilde{P}(x)\sum _y{P}_w(y\mid x)f_i(x,y)\exp \sum _{i=1}^n{\delta }_i{f}_i(x,y)$$可以发现，这个偏导里含有所有的 ${\delta }_i,i=1,...,n$，因此我们还是没办法一次优化一个变量
• 为了解决这个问题，IIS 进一步降低下界 $A(\delta |w)$。具体地， IIS 引进一个量 $f^{\#}(x,y)$，
  这样，$A(\delta |w)$ 可以改写为
  利用指数函数的凸性以及对任意 $i$，有 $\frac{f_i(x,y)}{f^{\#}(x,y)}\ge 0$ 且 ${\sum }_{i=1}^n\frac{f_i(x,y)}{f^{\#}(x,y)}=1$ 这一事实，根据 Jensen 不等式，得到
  于是
  至此就得到了对数似然函数改变量的一个新的 (相对不紧的) 下界 $B(\delta |w)$
  求 $B(\delta |w)$ 对 ${\delta }_i$ 的偏导数:
  可以看到上述偏导中，除 ${\delta }_i$ 外不含任何其他变量，这就达到了我们一次只优化一个变量的目的。令偏导数为 0 得到
  于是，依次对 ${\delta }_i$ 求解上述方程可以求出 $\delta$
  • 如果 $f^{\#}(x,y)$ 是常数，即对任何 $x,y$，有 $f^{\#}(x,y)=M$， 那么 ${\delta }_i$ 可以显式地表示成
    
  • 如果 $f^{\#}(x,y)$ 不是常数，那么求解上述方程的一个简单有效的方法是牛顿法。以 $g({\delta }_i)=0$ 表示上述方程，牛顿法通过迭代求得 ${\delta }_i^{\ast }$，使得 $g({\delta }_i^{\ast })=0$。迭代公式是
    只要适当选取初始值 ${\delta }_i^{(0)}$，由于 ${\delta }_i$ 的方程有单根， 因此牛顿法恒收敛，而且收敛速度很快

---

拟牛顿法

• 对数似然函数为
  $$\begin{array}{rl}{L}_{\tilde{P}}(P_w)& =\sum _{x,y}\tilde{P}(x,y)\log P_w(y|x)\end{array}$$最大熵模型为
  因此目标函数为
  
• 梯度：
  其中
  $$\begin{array}{rl}\frac{\partial f(w)}{\partial w_i}& =\sum _x\tilde{P}(x)\frac{1}{Z_w(x)}\sum _y\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)f_i(x,y)-\sum _{x,y}\tilde{P}(x,y)f_i(x,y)\\ & =\sum _{x,y}\tilde{P}(x)\frac{1}{Z_w(x)}\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)f_i(x,y)-E_{\tilde{P}}\left(f_i\right)\\ & =\sum _{x,y}\tilde{P}(x)P_w(y\mid x)f_i(x,y)-E_{\tilde{P}}\left(f_i\right),i=1,2,\cdots ,n\end{array}$$

---