第六章 最大熵原理

最大熵模型

最大熵原理

最大熵原理：学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型
通常用约束条件来确定概率模型的集合，最大熵原理也可以表述为在满足约束条件的模型集合中选取熵最大的模型。
设离散随机变量$X$的概率分布是$P(X)$，其熵是$$H(P)=-\sum _{x}P(x)\log P(x)$$满足不等式 $0⩽H(P)⩽\log |X|$
$|X|$是$X$的取值个数，当$X$为均匀分布右边不等式成立，也即$X$服从均匀分布时，熵最大.

最大熵模型的定义
假设分类模型是一个条件概率分布$P(Y|X)$，$X\in \mathcal{X}\subseteq {\mathbf{R}}^n$表示输入，$Y\in \mathcal{Y}$表示输出，$\mathcal{X}$和$\mathcal{Y}$分别表示输入和输出的集合，这个模型表示的是对于给定的输入$X$，以及条件概率$P(Y|X)$输出$Y$
给定一个训练数据集$T=\left\{\left(x_1,y_1\right),\left(x_2,y_2\right),\cdots ,\left(x_N,y_N\right)\right\}$学习的目标是用最大熵原理选择最好的分类模型
给定训练数据集，可以确定联合分布$P(X,Y)$的经验分布和边缘分布$P(X)$的经验分布，分布以$\tilde{P}(X,Y)$和$\tilde{P}(X)$表示，这里$$\tilde{P}(X=x,Y=y)=\frac{v(X=x,Y=y)}{N}$$ $$\tilde{P}(X=x)=\frac{v(X=x)}{N}$$其中$v(X=x,Y=y)$表示训练数据中样本$(x,y)$出现的频数，$v(X=x)$表示训练数据中输入$x$出现的频数，$N$表示训练样本的容量
用特征函数$f(x,y)$描述输入$x$和输出$y$之间的某一个事实.其定义是$$f(x,y)=\{\begin{array}{l}1,x\text{ and }y\text{ satisfy the fact }\\ 0,\text{ else }\end{array}$$它是一个二值函数，当$x$和$y$满足这个事实时取值为$1$，否则取值为$0$
特征函数$f(x,y)$关于经验分布$\tilde{P}(X,Y)$的期望，用$E_{\tilde{p}}(f)$表示$$E_{\tilde{P}}(f)=\sum _{x,y}\tilde{P}(x,y)f(x,y)$$特征函数$f(x,y)$关于模型$\tilde{P}(Y|X)$与经验分布$\tilde{P}(X)$的期望值，用$E_P(f)$表示$$E_P(f)=\sum _{x,y}\tilde{P}(x)P(y|x)f(x,y)$$如果模型能够获取训练数据中的信息，那么就可以假设这两个期望值相等，即$$E_P(f)=E_{\tilde{p}}(f)$$或$$\sum _{x,y}\tilde{P}(x)P(y|x)f(x,y)=\sum _{x,y}\tilde{P}(x,y)f(x,y)$$假设有$n$个特征函数$f_i(x,y),i=1,2,\cdots ,n$,那么就有$n$个约束条件
定义（最大熵模型） 假设满足所有约束条件的模型集合为$$\mathcal{C}\equiv \left\{P\in \mathcal{P}|E_P\left(f_i\right)=E_{\tilde{P}}\left(f_i\right),i=1,2,\cdots ,n\right\}$$定义在条件概率分布$P(Y|X)$上的条件熵为$$H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)\log P(y|x)$$则模型集合$\mathcal{C}$中条件熵$H(P)$最大的模型称为最大熵模型。

最大熵模型的学习

对于给定的训练数据集$T=\left\{\left(x_1,y_1\right),\left(x_2,y_2\right),\cdots ,\left(x_N,y_N\right)\right\}$以及特征函数$f_i(x,y),i=1,2,\cdots ,n$
最大熵模型的学习等价于约束优化问题：$$\underset{P\in \mathbf{C}}{\max }H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)\log P(y|x)$$$$\text{ s.t. }{E}_P\left(f_i\right)=E_{\tilde{P}}\left(f_i\right),i=1,2,\cdots ,n$$$$\sum _{y}P(y|x)=1$$等价于$$\underset{P\in \mathbf{C}}{\min }-H(P)=\sum _{x,y}\tilde{P}(x)P(y|x)\log P(y|x)$$ $$\text{ s.t. }{E}_P\left(f_i\right)-E_{\tilde{P}}\left(f_i\right)=0,i=1,2,\cdots ,n$$ $$\sum _{y}P(y|x)=1$$具体推导：$w_0,w_1,w_2,\cdots ,w_n$，定义拉格朗日函数$L(P,w)$：$$\begin{array}{rl}L(P,w)\equiv & -H(P)+w_0\left(1-\sum _{y}P(y|x)\right)+\sum _{i=1}^n{w}_i\left(E_{\tilde{p}}\left(f_i\right)-E_P\left(f_i\right)\right)\\ =& \sum _{x,y}\tilde{P}(x)P(y|x)\log P(y|x)+w_0\left(1-\sum _{y}P(y|x)\right)\\ & +\sum _{i=1}^n{w}_i\left(\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _{x,y}\tilde{P}(x)P(y|x)f_i(x,y)\right)\end{array}$$最优化的原始问题是$$\underset{P\in \mathbf{C}}{\min }\underset{w}{\max }L(P,w)$$
对偶问题是$$\underset{w}{\max }\underset{P\in \mathbf{C}}{\min }L(P,w)$$由于拉格朗日函数$L(P,w)$是$P$的凸函数，原始问题的解与对偶问题的解是等价的
首先解对偶问题内部的极小化问题${\min }_{P\in \mathbf{C}}L(P,w)$，${\min }_{P\in \mathbf{C}}L(P,w)$是$w$的函数，将其记作$$\Psi (w)=\underset{P\in \mathbf{C}}{\min }L(P,w)=L\left(P_w,w\right)$$ $\Psi (w)$称为对偶函数，同时，将其解记作$$P_w=\arg \underset{P\in \mathbf{C}}{\min }L(P,w)=P_w(y|x)$$具体地，求$L(P,w)$对$P(y|x)$的偏导数$$\begin{array}{rl}\frac{\partial L(P,w)}{\partial P(y|x)}& =\sum _{x,y}\tilde{P}(x)(\log P(y|x)+1)-\sum _y{w}_0-\sum _{x,y}\left(\tilde{P}(x)\sum _{i=1}^n{w}_i{f}_i(x,y)\right)\\ & =\sum _{x,y}\tilde{P}(x)\left(\log P(y|x)+1-w_0-\sum _{i=1}^n{w}_i{f}_i(x,y)\right)\end{array}$$令偏导数等于$0$，在$\tilde{P}(x)>0$的情况下，解得$$P(y|x)=\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)+w_0-1\right)=\frac{\exp \left({\sum }_{i=1}^n{w}_i{f}_i(x,y)\right)}{\exp \left(1-w_0\right)}$$由于${\sum }_{y}P(y|x)=1$，得$$P_w(y|x)=\frac{1}{Z_w(x)}\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)$$其中，$$Z_w(x)=\sum _y\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)$$ $Z_w(x)$称为规范化因子；$f_i(x,y)$是特征函数；$w_i$是特征的权值,由上两式表示的模型$P_w=P_w(y|x)$就是最大熵模型，这里$w$是最大熵模型中的参数向量之后，求解对偶问题外部的极大化问题$$\underset{w}{\max }\Psi (w)$$将其解记$w^{\ast }$为 ，即$$w^{\ast }=\arg \underset{w}{\max }\Psi (w)$$这就是说可以应用最优化算法求对偶函数$\Psi (w)$的极大化,得到$w^{\ast }$,用来表示$P^{\ast }\in \mathcal{C}$,这里$P^{\ast }=P_{w^{\ast }}=P_{w^{\ast }}(y|x)$是学习到的最优模型（最大熵模型），最大熵模型的学习归结为对偶函数$\Psi (w)$的极大化。

极大似然估计

下证对偶函数的极大化等价于最大熵模型的极大似然估计
已知训练数据的经验分布概率$\tilde{P}(X,Y)$，条件概率分布$P(Y|X)$的对数似然函数表示为$$L_{\tilde{P}}\left(P_w\right)=\log \prod _{x,y}P(y|x{)}^{\tilde{P}(x,y)}=\sum _{x,y}\tilde{P}(x,y)\log P(y|x)$$当条件概率分布$P(y|x)$是最大熵模型时，对数似然函数$L_{\tilde{P}}\left(P_w\right)$为$$L_{\tilde{P}}\left(P_w\right)=\sum _{x,y}\tilde{P}(x,y)\log P(y|x)$$$$=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _{x,y}\tilde{P}(x,y)\log Z_w(x)$$$$=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log Z_w(x)$$再看对偶函数$\Psi (w)$，由拉格朗日函数$$\begin{array}{rl}L(P,w)\equiv & -H(P)+w_0\left(1-\sum _{y}P(y|x)\right)+\sum _{i=1}^n{w}_i\left(E_{\tilde{p}}\left(f_i\right)-E_P\left(f_i\right)\right)\\ =& \sum _{x,y}\tilde{P}(x)P(y|x)\log P(y|x)+w_0\left(1-\sum _{y}P(y|x)\right)\\ & +\sum _{i=1}^n{w}_i\left(\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _{x,y}\tilde{P}(x)P(y|x)f_i(x,y)\right)\end{array}$$及$\Psi (w)={\min }_{P\in \mathbf{C}}L(P,w)=L\left(P_w,w\right)$可得$$\begin{array}{rl}\Psi (w)=& \sum _{x,y}\tilde{P}(x)P_w(y|x)\log P_w(y|x)\\ & +\sum _{i=1}^n{w}_i\left(\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _{x,y}\tilde{P}(x)P_w(y|x)f_i(x,y)\right)\end{array}$$$$=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)+\sum _{x,y}\tilde{P}(x)P_w(y|x)\left(\log P_w(y|x)-\sum _{i=1}^n{w}_i{f}_i(x,y)\right)$$$$=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _{x,y}\tilde{P}(x)P_w(y|x)\log Z_w(x)$$$$=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log Z_w(x)$$最后一步用到${\sum }_{y}P(y|x)=1$
比较$L_{\tilde{P}}\left(P_w\right)$和$\Psi (w)$，可得$\Psi (w)=L_{\tilde{P}}\left(P_w\right)$对偶函数等价于对数似然函数$L_{\tilde{P}}\left(P_w\right)$，于是证明了最大熵模型学习中的对偶函数极大化等价于最大熵模型的极大似然估计。
最大熵模型一般形式
$$P_w(y|x)=\frac{1}{Z_w(x)}\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)$$其中， $Z_w(x)={\sum }_y\exp \left({\sum }_{i=1}^n{w}_i{f}_i(x,y)\right)$这里，$x\in {\mathbf{R}}^n$为输入，$y\in \{1,2,\cdots ,K\}$为输出，$w\in {\mathbf{R}}^n$为权值向量，$f_i(x,y),i=1,2,\cdots ,n$为任意实值特征函数.

模型学习的最优化算法

常用的方法有改进的迭代尺度法、梯度下降法、牛顿法或拟牛顿法
改进的迭代尺度法
最大熵模型为$$P_w(y|x)=\frac{1}{Z_w(x)}\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)$$其中， $$Z_w(x)=\sum _y\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)$$对数似然函数为$$L(w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log Z_w(x)$$目标是通过极大似然函数学习模型的参数，即求对数似然函数的极大值$\hat{w}$
$\mathrm{I}\mathrm{I}\mathrm{S}$的想法是:假设最大熵模型当前的参数向量是$w={\left(w_1,w_2,\cdots ,w_n\right)}^{\mathrm{T}}$，我们希望找到一个新的参数向量$w+\delta ={\left(w_1+{\delta }_1,w_2+{\delta }_2,\cdots ,w_n+{\delta }_n\right)}^{\mathrm{T}}$，使得模型的对数似然函数值增大。如果能有这样一种参数向量更新的方法$\tau :w\to w+\delta$，那么就可以重复使用这一方法，直至找到对数似然函数的最大值。
对于给定的经验分布$\tilde{P}(x,y)$，模型参数$w$从到$w+\delta$，对数似然函数的改变量是$$\begin{array}{rl}L(w+\delta )-L(w)& =\sum _{x,y}\tilde{P}(x,y)\log P_{w+\delta }(y|x)-\sum _{x,y}\tilde{P}(x,y)\log P_w(y|x)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log \frac{Z_{w+\delta }(x)}{Z_w(x)}\end{array}$$利用不等式$$-\log \alpha ⩾1-\alpha ,\alpha >0$$建立对数似然函数改变量的下界：
$$L(w+\delta )-L(w)⩾\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\frac{Z_{w+\delta }(x)}{Z_w(x)}$$ $$=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\exp \sum _{i=1}^n{\delta }_i{f}_i(x,y)$$将右端记为$$A(\delta |w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\exp \sum _{i=1}^n{\delta }_i{f}_i(x,y)$$于是有$$L(w+\delta )-L(w)⩾A(\delta |w)$$即$A(\delta |w)$是对数似然函数改变量的一个下界
如果能够找到适当的$\delta$使下界$A(\delta |w)$提高，那么对数似然函数也会提高，然而，函数$A(\delta |w)$中的$\delta$是一个向量，含有多个变量，不易同时优化。$\mathrm{I}\mathrm{I}\mathrm{S}$试图一次只优化其中一个变量${\delta }_i$，而固定其他变量${\delta }_j,i̸=j$。为达到这一目的，$\mathrm{I}\mathrm{I}\mathrm{S}$进一步降低下界$A(\delta |w)$。具体地，IIS引进一个量$f^{\#}(x,y)$，$$f^{\#}(x,y)=\sum _i{f}_i(x,y)$$因为$f_i$是二值函数，故$f^{\#}(x,y)$表示所有特征在$(x,y)$出现的次数，这样$A(\delta |w)$可以写成$$A(\delta |w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\exp \left(f^{\#}(x,y)\sum _{i=1}^n\frac{{\delta }_i{f}_i(x,y)}{f^{\#}(x,y)}\right)$$
利用指数函数的凸性以及对任意$i$，有$\frac{f_i(x,y)}{f^{\#}(x,y)}⩾0$且${\sum }_{i=1}^n\frac{f_i(x,y)}{f^{\#}(x,y)}=1$
根据Jensen不等式，得到$$\exp \left(\sum _{i=1}^n\frac{f_i(x,y)}{f^{\#}(x,y)}{\delta }_i{f}^{\#}(x,y)\right)⩽\sum _{i=1}^n\frac{f_i(x,y)}{f^{\#}(x,y)}\exp \left({\delta }_i{f}^{\#}(x,y)\right)$$
于是可改写为$$A(\delta |w)⩾\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\sum _{i=1}^n\left(\frac{f_i(x,y)}{f^{\#}(x,y)}\right)\exp \left({\delta }_i{f}^{\#}(x,y)\right)$$记上式不等式右端为$$B(\delta |w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\sum _{i=1}^n\left(\frac{f_i(x,y)}{f^{\#}(x,y)}\right)\exp \left({\delta }_i{f}^{\#}(x,y)\right)$$于是得到$$L(w+\delta )-L(w)⩾B(\delta |w)$$这里，$B(\delta |w)$是对似然函数改变量的一个新的（相对不紧的）下界
求$B(\delta |w)$对${\delta }_i$的偏导数:$$\frac{\partial B(\delta |w)}{\partial {\delta }_i}=\sum _{xy}\tilde{P}(x,y)f_i(x,y)-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)f_i(x,y)\exp \left({\delta }_i{f}^{\#}(x,y)\right)$$在上式里，除${\delta }_i$外不含任何其他变量，令偏导数为$0$得到$$\sum _{x,y}\tilde{P}(x)P_w(y|x)f_i(x,y)\exp \left({\delta }_i{f}^{\#}(x,y)\right)=E_{\tilde{p}}\left(f_i\right)$$于是，依次对${\delta }_i$求解方上式程可以求出$\delta$
这就给出了一种求$w$的最优解的迭代算法，即改进的迭代尺度算法$\mathrm{I}\mathrm{I}\mathrm{S}$
拟牛顿法
对最大熵模型而言，$$P_w(y|x)=\frac{\exp \left({\sum }_{i=1}^n{w}_i{f}_i(x,y)\right)}{{\sum }_y\exp \left({\sum }_{i=1}^n{w}_i{f}_i(x,y)\right)}$$目标函数：$$\underset{w\in {\mathbf{R}}^n}{\min }f(w)=\sum _x\tilde{P}(x)\log \sum _y\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)-\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)$$梯度：$$g(w)={\left(\frac{\partial f(w)}{\partial w_1},\frac{\partial f(w)}{\partial w_2},\cdots ,\frac{\partial f(w)}{\partial w_n}\right)}^{\mathrm{T}}$$其中$$\frac{\partial f(w)}{\partial w_i}=\sum _{x,y}\tilde{P}(x)P_w(y|x)f_i(x,y)-E_{\tilde{P}}\left(f_i\right),i=1,2,\cdots ,n$$

《统计学习方法》 李航