《统计学习方法》--最大熵模型

《统计学习方法》第六章–最大熵模型

最大熵模型概述

最大熵模型是将最大熵原理应用于分类任务中得到的模型。认为在全部可能的模型中，熵最大的模型是最好的模型。

最大熵原理

最大熵原理认为，学习概率模型时，在所有可能的概率模型分布中，熵最大的模型就是最好的模型。由于通常用约束条件来确定概率模型的集合，因此最大熵原理也可以表述为在满足约束条件的模型集合中选取熵最大的模型。熵，最大熵原理都最初演变自热力学领域。关于信息论中的熵可以参考之前的文章中的介绍 《统计学习方法》–决策树

最大熵模型

在要求解的问题中，假设满足所有约束条件的模型集合为
$$C\equiv \{P\in \mathcal{P}|E_P(f_i)=E_{P^{\sim }}(f_i)\}$$
其中$i=1,2,...,n$。定义在条件概率分布$P(Y|X)$上的条件熵为
$$H(P)=-\sum _{x,y}{P}^{\sim }(x)P(y|x)\log P(y|x)$$
其中$P^{\sim }(x)$表示边缘分布$P(x)$的经验分布，$E_{P^{\sim }}(f_i)$表示特征函数$f(x,y)$关于经验分布$P^{\sim }(x,y)$的期望。则模型集合$C$中条件熵$H(P)$最大的模型称为最大熵模型。

最大熵模型的学习

最大熵模型的学习过程就是求解最大熵模型的过程。一般可以将其形式化为约束最优化问题。
对于给定的训练数据集$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$,以及特征函数$f_i(x,y),i=1,2,...,n$,最大熵模型的学习等价于约束最优化问题：
$$\underset{P\in C}{\max }H(P)=-\sum _{x,y}{P}^{\sim }(x)P(y|x)\log P(y|x)$$
$$s.t.E_P(f_i)=E_{P^{\sim }}(fi),i=1,2,...,n$$
$$\sum _{y}P(y|x)=1$$