最大熵模型

目标:在数据为$D=(X,Y) $的情况下,最大熵模型希望建立一个分类模型，该分类模型的独特之处在于其希望在满足数据的先验知识的情况下，模型的熵尽量大（满足数据的条件下，不确定程度最大）

熵用于衡量不确定性，一个随机变量$XX$的熵的定义为
$$H(X)=-\sum _{x}p(x)logp(x)$$
分类模型是条件概率模型，最大熵模型也是在输入数据的条件下力求熵最大，即条件熵最大。条件熵$H(Y|X)$表示在随机变量$X$的条件下随机变量Y的不确定性，定义为$X$给定条件下，$Y$的条件概率分布的熵的期望，计算方式如下
$$\begin{array}{rl}H(Y\mid X)& =\sum _{X=x}p(x)(H(Y\mid X=x))\\ & =\sum _{X=x}p(x)\left(-\sum _{Y=y}p(y\mid X=x)\log p(y\mid X=x)\right)\\ & =-\sum _{X=x}\sum _{Y=y}p(x)p(y\mid X=x)\log p(y\mid X=x)\\ & =-\sum _x\sum _{y}p(x)p(y\mid x)logp(y\mid x)\end{array}$$
根据现有数据，可以计算$(X,Y)$的经验分布$\hat{P}(x,y)$和$X$的经验分布$\hat{P}(x)$，另外定义一个特征函数(用于说明数据集的事实情况)
$$f(x,y)=\{\begin{array}{l}1,\text{ if }事实（x,y）满足数据D\\ 0,\text{ else }\end{array}$$
则该特征函数关于$\hat{P}(x,y)$的期望代表在当前数据下$(x,y)$事实发生的期望，该值计算方式为
$$\sum _{x,y}\hat{P}(x,y)f(x,y)$$
上式根据贝叶斯公式又可以被改写为
$$\sum _{x,y}\hat{P}(x）P(y\mid x)f(x,y)$$
（4）式和（5）式分别使用了$\hat{P}(x,y)$和$\hat{P}(x)$来计算$(x,y)$事实发生的期望，则理论上二者的值应该相等，即
$$\sum _{x,y}\hat{P}(x,y)f(x,y)=\sum _{x,y}\hat{P}(x）P(y\mid x)f(x,y)$$
至此，最大熵模型的优化目标为（2）式，约束条件为(7)式。

剩下的为数学优化问题。