机器学习 最大熵模型

一.信息熵

1.信息熵
(1)概述:

该概念由克劳德·艾尔伍德·香农在1948年首次提出,最初来自于热力学中熵的概念.为避免混淆,故称为信息熵(Entropy).这是1个用于度量信息的不确定性的抽象概念.由于1条信息的信息量的大小与其不确定性有直接关系,如为了弄清楚1件高度不确定的事,就需要大量信息,因此对不确定性的度量就相当于对信息量(或预期需求的信息量)的度量

(2)定义:

信息熵$H(X)$被定义为$$H(X)=-\sum _{x}P(x){\log }_{2}P(x)$$
单位为比特(bit).信息熵也可以$e$为底数,即$$H(X)=-\sum _{x}P(x)\ln P(x)$$此时单位为奈特(nat).变量的不确定性越大,信息熵也就越大:当$X\sim U(a,b)$时,信息熵最大;当$X$为定值时,信息熵最小;在给定均值$\mu$和方差${\sigma }^2$的前提下,当$X\sim N(\mu ,{\sigma }^2)$时,信息熵最大

(3)最大熵定理:

最大熵定理表明$$0\le H(X)\le \log |X|$$

(4)信息熵的加总:

各部分的信息熵可以进行加总:设总信息熵为$H(X)$,第$i$部分的信息熵为$H_i(X)$,第$i$部分占总体的比例为$p_i$,则$$H(X)=\sum _{i=1}^m{p}_i{H}_i(X)$$

2.联合熵
(1)概述:

联合熵(Joint Entropy)用于度量2个事件共同发生时的不确定性

(2)定义:

随机变量$X,Y$的联合熵被定义为$$H(X,Y)=-\sum _{x,y}P(x,y){\log }_{2}P(x,y)$$

3.条件熵
(1)概述:

条件熵(Conditional Entropy)用于度量在1个事件发生的前提下,另1个事件的不确定性

注:当熵和条件熵中的概率由数据估计(特别是极大似然估计)得到时,称为经验熵(Empirical Entropy)和经验条件熵(Empirical Conditional Entropy)

(2)定义:

随机变量$X,Y$的条件熵被定义为$$H(X|Y)=H(X,Y)-H(Y)=-\sum _{x,y}P(x,y){\log }_{2}P(x|y)$$可证明$H(X|Y)\le H(X)$

4.相对熵
(1)概述:

相对熵(Relative Entropy)又称交叉熵/互熵(Cross Entropy),鉴别信息(Authentication Information),库尔贝克-莱布勒熵(Kullback-Leibler Entropy),库尔贝克-莱布勒散度(Kullback-Leibler Divergence;KL Divergence)或信息散度(Information Divergence),是2个概率分布间差异的非对称性度量

(2)定义:

概率分布$P(x),Q(x)$的相对熵被定义为$$KL(P||Q)=\sum _{x}P(x)\frac{{\log }_{2}P(x)}{{\log }_{2}Q(x)}=E_{x\sim P(x)}({\log }_2\frac{P(x)}{Q(x)})\ge 0$$当且仅当$P=Q,KL(P||Q)=0$.通常$KL(P||Q)\ne KL(Q||P)$

(3)概率分布的近似:

假设存在某个未知的概率分布$P$,希望使用概率分布$Q$来近似$P$,则有2种可能的目标:
①目标为$$\underset{Q}{\min }KL(Q|P)$$此时需要在$P$接近0的位置,$Q$也尽可能接近0,会得到比较窄的分布
②目标为$$\underset{Q}{\min }KL(P|Q)$$此时需要在$P$远离0的位置,$Q$也尽可能远离0,会得到比较宽的分布

5.互信息
(1)概述:

互信息(Mutual Information)用于度量1个事件中包含的关于另1个事件的信息量

(2)定义:

随机变量$X,Y$的互信息被定义为$$I(X,Y)=KL(P(x,y)||P(x)P(y))=\sum _{x,y}P(x,y)\frac{{\log }_{2}P(x,y)}{{\log }_{2}P(x)P(y)}$$

(3)互信息与联合熵:

可证明$$I(X,Y)=H(X)-H(X|Y)=H(X)+H(Y)-H(X,Y)$$有些文献使用上述2式之一定义互信息

二.最大熵模型
1.最大熵原理:

"最大熵原理"(Maximum Entropy Principle)认为:在所有可能的概率模型中,熵最大的模型是最好的模型.若模型需要满足一些约束条件,则
最大熵原理要求在所有满足已知约束条件的模型中,找到熵最大的那个.也就是说在满足所有约束条件的前提下,不对未知情况做任何主观假设(称为
"无偏(好)原则",要求概率分布尽可能均匀).这时模型的熵最大,预测风险最小

2.最大熵模型

参见:https://zhuanlan.zhihu.com/p/29978153,https://blog.csdn.net/v_july_v/article/details/40508465

(1)概念:

"最大熵模型"(Maximum Entropy Model)是将最大熵原理应用到分类问题而得到的模型,即所有满足已知约束条件的模型中熵(通常使用条件
熵)最大(等价于概率分布最均匀)的那个,比如:

已知"学习"可能是动词或名词;可能是主语,谓语,宾语或定语.令$x_1$表示"学习"为名词,$x_2$表示"学习"为动词,$y_1$表示"学习"为主语,$y_2$表示"学习"为谓语,$y_3$表示"学习"为宾语,$y_4$表示"学习"为定语.易知模型应满足$$\begin{gathered} P(x_1)+P(x_2)=1 \\ P(y_1)+P(y_2)+P(y_3)+P(y_4)=1 \end{gathered}$$根据无偏好原则,模型应满足$$\begin{gathered} P(x_1)=P(x_2) \\ P(y_1)=P(y_2)=P(y_3)=P(y_4) \end{gathered}$$故最优模型为$$\begin{gathered} P(x_1)=P(x_2)=\frac{1}{2} \\ P(y_1)=P(y_2)=P(y_3)=P(y_4)=\frac{1}{4} \end{gathered}$$若从其他渠道得知$P(y_4)=\frac{1}{20}$,则最优模型变为$$\begin{gathered} P(x_1)=P(x_2)=\frac{1}{2} \\ P(y_1)=P(y_2)=P(y_3)=\frac{19}{60} \\ P(y_4)=\frac{1}{20} \end{gathered}$$若从其他渠道又得知$P(y_2|x_1)=\frac{19}{20}$,则最优模型变为$$\begin{gathered} \max H(Y|X)=\underset{\genfrac{}{}{0ex}{}{x\in \{x_1,x_2\}}{y\in \{y_1,y_2,y_3,y_4\}}}{-\sum }P(x,y){\log }_{2}P(y|x) \\ s.t.\{\begin{array}{l}P(x_1)+P(x_2)=1\\ P(y_1)+P(y_2)+P(y_3)+P(y_4)=1\\ P(y_4)=\frac{1}{20}\\ P(y_2|x_1)=\frac{19}{20}\end{array} \end{gathered}$$

(2)一般形式:

对特征(注意:最大熵模型中"特征"的概念与其他模型中不同)$(x_i,y_i)$,定义特征函数(注意:具体问题中也可能使用其他特征函数):$$f_i(x,y)=\{\begin{array}{l}1ifx=x_i\wedge y=y_i\\ 0otherwise\end{array}$$$f_i(x,y)$在样本中的期望值为$$\bar{E}(f_i)=\sum _{x,y}\bar{P}(x,y)f_i(x,y)$$其中$\bar{P}(x,y)$是$(x,y)$在样本中出现的频率.同时$f_i(x,y)$在模型中的期望值为$$\begin{gathered} E(f)=\sum _{x,y}P(x,y)f_i(x,y) \\ =\sum _{x,y}P(x)P(y|x)f_i(x,y) \\ =\sum _{x,y}\bar{P}(x)P(y|x)f_i(x,y) \end{gathered}$$其中$P(x)$是$x$在模型中出现的概率;$\bar{P}(x)$是$x$在样本中出现的频率;$P(y|x)$是$y$在模型中在$x$下的条件概率.对每个特征$(x_i,y_i)$,要求模型所建立的条件概率分布和训练样本表现出的分布相同,即$$E(f_i)=\bar{E}(f_i)$$则最大熵模型的一般形式为$$\begin{gathered} \underset{P(y|x)}{\max }H(Y|X)=-\sum _{x,y}P(x,y)\ln P(y|x) \\ =-\sum _{x,y}P(y|x)\bar{P}(x)\ln P(y|x) \\ s.t.\{\begin{array}{l}E(f_i)=\bar{E}(f_i)\\ E(f_i)=\sum _{x,y}\bar{P}(x)P(y|x)f_i(x,y)\\ \bar{E}(f_i)=\sum _{x,y}\bar{P}(x,y)f_i(x,y)\\ \sum _{y}P(y|x)=1\end{array} \end{gathered}$$

3.求解
(1)解析解:

最大熵模型的一般形式的拉格朗日函数为$$L(P,\lambda )=\sum _{x,y}P(y|x)\bar{P}(x)\ln \frac{1}{P(y|x)}+\sum _i[{\lambda }_i\sum _{x,y}{f}_i(x,y)(\bar{P}(x)P(y|x)-\bar{P}(x,y))]+{\lambda }_0\sum _y(P(y|x)-1)$$利用利用拉格朗日对偶性可知,原问题等价于$$\underset{P}{\max }\underset{\lambda }{\min }L(P,\lambda )$$通过交换极大和极小的位置,可以得到与其等价的对偶问题$$\underset{\lambda }{\min }\underset{P}{\max }L(P,\lambda )$$最优解的1阶必要条件为$$\begin{gathered} \frac{\partial L}{\partial P(y|x)}=\bar{P}(x)(\ln \frac{1}{P(y|x)}-1)+\sum _i{\lambda }_i{f}_i(x,y)\bar{P}(x)+{\lambda }_0=0(1) \\ {P}^{\ast }(y|x)=e^{{\sum }_i{\lambda }_i{f}_i(x,y)+\frac{{\lambda }_0}{\bar{P}(x)}-1} \end{gathered}$$简写为$$P^{\ast }(y|x)=\frac{e^{{\sum }_i{\lambda }_i{f}_i(x,y)}}{Z_{\lambda }(x)}$$其中$Z_{\lambda }(x)$称为规范化因子.由最后1项约束条件有$$\begin{gathered} \sum _y\frac{e^{{\sum }_i{\lambda }_i{f}_i(x,y)}}{Z_{\lambda }(x)}=1 \\ {Z}_{\lambda }(x)=\sum _y{e}^{{\sum }_i{\lambda }_i{f}_i(x,y)} \end{gathered}$$从而得到$$\begin{gathered} P^{\ast }(y|x)=\frac{e^{{\sum }_i{\lambda }_i{f}_i(x,y)}}{Z_{\lambda }(x)} \\ =\frac{e^{{\sum }_i{\lambda }_i{f}_i(x,y)}}{{\sum }_y{e}^{{\sum }_i{\lambda }_i{f}_i(x,y)}}(2) \end{gathered}$$将$(2)$式带入$L$得到$$\underset{\lambda }{\min }L(\lambda )=\sum _{x,y}P(y|x)\bar{P}(x)\ln Z_{\lambda }(x)-\sum _i(\bar{P}(x,y)\sum _{x,y}{\lambda }_i{f}_i(x,y))(3)$$此时${\lambda }_i$未知.理论上来说,将$(2)$式带入$(1)$式即可解出${\sum }_i{\lambda }_i{f}_i(x,y)$,从而得到$P^{\ast }(y|x)$.但实际上不存在显式的解析解,故需要求数值解

(2)数值解:

可以使用通用的最优化方法如梯度下降,牛顿法,拟牛顿法;也可以使用为最大熵模型量身定制的2个最优化方法,即通用迭代尺度法(General Iterative Scaling;GIS)和改进的迭代尺度法(Improved Iterative Scaling;IIS;目前求解最大熵模型的最优算法)

4.优缺点
(1)优点:

①准确率较高
②可以灵活地设置约束条件,可通过约束条件数调节模型对未知数据的适应度和对已知数据的拟合程度

(2)缺点:

①由于约束条件数常与样本数有关,因此当样本数增多时,约束条件数也会增加,导致计算量大幅增加

5.与极大似然估计的关系:

最大熵模型和极大似然估计的目标函数的形式相同,也就是说熵最大的解也是最符合样本数据分布的解,这证明了最大熵模型的合理性.这是因为最
大熵模型是对不确定性的无偏分配,极大似然估计是对知识的无偏理解,而知识是不确定性的补集.故从本质上讲,最大熵模型就是极大似然估计,但
前者更容易建立目标函数

极大似然估计则要求$$\begin{gathered} \underset{P}{\max }L=\ln \prod _{x}P(x{)}^{\bar{P}(x)} \\ =\sum _x\bar{P}(x)\ln P(x) \end{gathered}$$其中$P(x)$是根据模型得到的概率分布,$\bar{P}(x)$是样本的分布,从而最大熵模型的目标为$$\begin{gathered} \underset{P}{\max }L(P)=\sum _{x,y}\bar{P}(x,y)\ln P(x,y) \\ =\sum _{x,y}\bar{P}(x,y)\ln (\bar{P}(x)P(y|x)) \\ =\sum _{x,y}\bar{P}(x,y)\ln P(y|x)+\sum _{x,y}\bar{P}(x,y)\ln \bar{P}(x) \end{gathered}$$这相当于(因为第2项是常数)$$\underset{P}{\max }MLE=\sum _{x,y}\bar{P}(x,y)\ln P(y|x)(4)$$将最大熵模型的最优解带入$(4)$式,得到$$\begin{gathered} \underset{\lambda }{\max }MLE=\sum _{x,y}\bar{P}(x,y)(\sum _i{\lambda }_i{f}_i(x,y)-\ln Z_{\lambda }(x)) \\ =\sum _{x,y}(\bar{P}(x,y)\sum _i{\lambda }_i{f}_i(x,y))-\sum _{x,y}\bar{P}(x,y)\ln Z_{\lambda }(x) \\ =\sum _{x,y}(\bar{P}(x,y)\sum _i{\lambda }_i{f}_i(x,y))-\sum _x\bar{P}(x)\ln Z_{\lambda }(x) \end{gathered}$$这与$(3)$式等价.其中$MLE$称为最大熵模型的对数似然函数(Log-Likelihood Function)

三.迭代尺度法
1.通用迭代尺度法:

略

2.改进的迭代尺度法
(1)基本思想:

假设当前参数为λ,试图找到新的参数λ+δ,使最大熵模型的对数似然函数尽可能增大.重复上述过程,直到收敛

(2)步骤:

可以得到$$\begin{gathered} MLE(\lambda +\delta )-MLE(\lambda )=\sum _{x,y}(\bar{P}(x,y)\sum _i{\delta }_i{f}_i(x,y))-\sum _x\bar{P}(x)\ln \frac{Z_{\lambda +\delta }(x)}{Z_{\lambda }(x)} \\ \ge \sum _{x,y}(\bar{P}(x,y)\sum _i{\delta }_i{f}_i(x,y))+1-\sum _x\bar{P}(x)\frac{Z_{\lambda +\delta }(x)}{Z_{\lambda }(x)} \\ =\sum _{x,y}(\bar{P}(x,y)\sum _i{\delta }_i{f}_i(x,y))+1-\sum _x\bar{P}(x)e^{{\sum }_i{\delta }_i{f}_i(x,y)} \\ =\sum _{x,y}(\bar{P}(x,y)\sum _i{\delta }_i{f}_i(x,y))+1-\sum _x(\bar{P}(x)e^{{\sum }_i{\delta }_i{f}_i(x,y)}\sum _{y}P(y|x)) \end{gathered}$$定义$f^{\#}(x,y)={\sum }_i{f}_i(x,y)$,再利用琴生不等式有$$\begin{gathered} A(\delta |\lambda ):=[\sum _{x,y}\bar{P}(x,y)(\sum _i{\delta }_i{f}_i(x,y))]+1-[\sum _x\bar{P}(x)e^{{\sum }_i{\delta }_i{f}_i(x,y)}(\sum _{y}P(y|x))] \\ =[\sum _{x,y}\bar{P}(x,y)(\sum _i{\delta }_i{f}_i(x,y))]+1-[\sum _x\bar{P}(x)e^{f^{\#}(x,y){\sum }_i\frac{{\delta }_i{f}_i(x,y)}{f^{\#}(x,y)}}(\sum _{y}P(y|x))] \\ \ge [\sum _{x,y}\bar{P}(x,y)(\sum _i{\delta }_i{f}_i(x,y))]+1-[\sum _x\bar{P}(x)e^{{\delta }_i{f}^{\#}(x,y)}(\sum _{y}P(y|x))(\sum _i\frac{f_i(x,y)}{f^{\#}(x,y)})]:=B(\delta |\lambda ) \end{gathered}$$求$B$对${\delta }_i$的偏导,得到$$\begin{gathered} \frac{\partial B}{\partial {\delta }_i}=\sum _{x,y}\bar{P}(x,y)f_i(x,y)-[\sum _x\bar{P}(x)f_i(x,y)e^{{\delta }_i{f}^{\#}(x,y)}(\sum _{y}P(y|x))] \\ =\sum _{x,y}\bar{P}(x,y)f_i(x,y)-(\sum _{x,y}\bar{P}(x)P(y|x)f_i(x,y)e^{{\delta }_i{f}^{\#}(x,y)}) \\ =\bar{E}(f_i)-(\sum _{x,y}\bar{P}(x)P(y|x)f_i(x,y)e^{{\delta }_i{f}^{\#}(x,y)}):=g({\delta }_i) \end{gathered}$$在最大点处应有$g({\delta }_i)=0$,从而问题被转换为$g({\delta }_i)$求根.若$f^{\#}(x,y)$为常数$M$,则$${\delta }_i=\frac{\ln \frac{\bar{E}(f_i)}{E(f_i)}}{M}$$否则,可使用牛顿法求解:更新规则为$${\delta }_i^{k+1}={\delta }_i^k-\frac{g({\delta }_i^k)}{g^{\prime }({\delta }_i^k)}$$注意,因为要求的是根而非极值,故除以$g^{\prime }({\delta }_i^k)$而非$g^{\prime \prime }({\delta }_i^k)$,这与通常使用的牛顿法不同.另外,实践中可以采用拟牛顿法求解.利用求出的$\delta$对$\lambda$进行更新:$${\lambda }^{k+1}={\lambda }^k+\delta$$然后重复上述步骤,直到$\lambda$收敛.将最终的$\lambda$带回$(2)$式,就得到了最大熵模型的最优解