【机器学习】最大熵模型【上】最大熵模型概述与约束最优化问题

有任何的书写错误、排版错误、概念错误等，希望大家包含指正。

由于字数限制，分成两篇博客。
【机器学习】最大熵模型【上】最大熵模型概述与约束最优化问题
【机器学习】最大熵模型【下】最大熵模型学习的最优化算法

最大熵模型

1. 最大熵原理

熵，表达了一个事物的混乱程度，即不确定性。熵越大，事物越混乱，愈加不确定；熵越小反之。

最大熵原理指出，对以一个随机事件的概率分布进行预测时，预测应当满足全部已知约束，而对未知的情况不要做任何主观假设。在这种情况下，概率分布最均匀，预测风险最小，因此得到的概率分布的熵是最大的。

一个直观的例子，吴军在给 AT&T 实验室作关于最大熵模型的报告时，问听众“骰子每个面朝上的概率分别是多少”，所有人都回答等概率，即各种点数的概率均为 $1/6$。吴军告诉听众，骰子经过了特殊处理，已知四点朝上的概率是 $1/3$，在这种情况下，大部分听众认为除去四点的概率是 $1/3$，其余均是 $2/15$。这是因为对于其余各点的概率无从得知，所以只好认为它们是等概率的。当然，也有听众认为骰子四点的反面一定是三点，这部分听众回答的是其余各点并非等概率，但事实上，有的骰子四点的反面不是三点而是一点。显然，四点反面一定是三点的假设是部分听众主观添加的，并不是吴军告知的已知条件，而凭直觉回答等概率的听众的猜测之所以准确，是因为这恰好符合了最大熵原理。

在自然语言处理中，考虑一个利用最大熵原理自动将英语转换为法语的翻译模型。方便起见，我们将这个复杂的问题简化为根据语境将英文语句中的单词 in 翻译成合适的语法单词。翻译模型 $P$ 的任务是对于给定包含单词 in 的英文语句，给出某个法语单词 $f$ 作为英语单词 in 的翻译结果的概率 $P(f)$。从收集到的样本数据中抽取特征（约束），基于这些规则训练翻译模型 $P$。

假设从样本中得到的第一个规则为英文单词 in 只可能被翻译成法语单词 dans、en、à、aucours de 或 pendant，形式化表示为
$$P(\mathrm{dans})+P(\mathrm{en})+P(\grave{\mathrm{a}})+P(\mathrm{aucours}\mathrm{de})+P(\mathrm{pendant})=1$$
这个约束对应于上面骰子例子中的六个点数出现的概率为 $1$。显然，有无数个满足上面约束的模型可供选择，例如 $P(\mathrm{dans})=1$，说明模型 $P$ 总是将 in 翻译成 dans；或者 $P(\mathrm{pendant})=\frac{1}{2}$ 并且 $P(\grave{a})=\frac{1}{2}$，说明模型 $P$ 等概率地将 in 翻译成 pendant 或 à。这两个模型都是在没有足够经验数据的情况下做的大胆假设。事实上，因为我们当前只知道可选的翻译结果为这五个法语单词，没法确定究竟哪个模型正确，或者说哪个概率分布正确，所以一个更合理的概率分布为
$$P(\mathrm{dans})=P(\mathrm{en})=P(\grave{\mathrm{a}})=P(\mathrm{aucours}\mathrm{de})=P(\mathrm{pendant})=\frac{1}{5}$$
该模型将概率均匀分配给五个法语词汇，但在实际情况中，模型肯定不会如此简单，我们会尝试提取更多的经验知识来丰富约束条件。

假设我们从语料中发现有 $30\%$ 的概率 in 会被翻译成 dans 或 en，将新约束添加到模型中，有
$$\begin{gathered} P(\mathrm{dans})+P(\mathrm{en})=\frac{3}{10} \\ P(\mathrm{dans})+P(\mathrm{en})+P(\grave{\mathrm{a}})+P(\mathrm{aucours}\mathrm{de})+P(\mathrm{pendant})=1 \end{gathered}$$
新约束对应于上面骰子例子中的已知四点朝上的概率。同样地，满足这两个约束的概率分布也有很多，在没有其他经验知识的情况下，直观上应该选择最均匀的模型，即
$$\begin{gathered} P(\mathrm{dans})=P(\mathrm{en})=\frac{3}{20} \\ P(\grave{\mathrm{a}})=P(\mathrm{aucours}\mathrm{de})=P(\mathrm{pendant})=\frac{7}{30} \end{gathered}$$

可见，最大熵原理与我们最直观的感受相吻合。

假设我们又从语料中找到了新规则，有 $50\%$ 的概率 in 会被翻译成 dans 或 à。三个约束为
$$\begin{gathered} P(\mathrm{dans})+P(\grave{\mathrm{a}})=\frac{1}{2} \\ P(\mathrm{dans})+P(\mathrm{en})=\frac{3}{10} \\ P(\mathrm{dans})+P(\mathrm{en})+P(\grave{\mathrm{a}})+P(\mathrm{aucours}\mathrm{de})+P(\mathrm{pendant})=1 \end{gathered}$$
由于经验知识的增加，问题的复杂度也增加了，我们想确定一个满足三个约束的最均匀的模型变得不再显而易见。因此，我们需要一套方法来量化我们对于“最均匀”的直观感受，并且学习到我们想要的模型。

2. 最大熵模型的定义

最大熵模型以最大熵原理为依据，通过信息论中的“熵”来度量数据的均匀程度，希望学习到在满足已知事实的前提下熵最大的概率分布。

继续考虑上面的翻译问题，我们再细化一下翻译场景，让问题更加完整、更加符合实际。引入英文单词 in 的上下文信息，比如在某句话中 in 后面紧跟单词 January，那么模型应当给予翻译结果为 en $90\%$ 的可能性。显然，考虑单词的上下文信息使得模型更加合理。对与该翻译问题类似的一类问题进行抽象，规定用 $\mathcal{Y}$ 表示可能候选结果的集合，$\mathcal{X}$ 表示上下文信息构成的集合，$f(a,b)$ 为定义在 $\{0,1\}$ 域上的特征函数：
$$f(x,y)=\{\begin{array}{lc}1,& \text{if}(x,y)\in (\mathcal{X},\mathcal{Y})\text{and}\text{meet}\text{certain}\text{conditions}\\ 0,& \text{otherwise}\end{array}$$
在上面的翻译例子中，$\mathcal{Y}=\{\mathrm{dans},\mathrm{en},\grave{\mathrm{a}},\mathrm{aucours}\mathrm{de},\mathrm{pendant}\}$，如果简单地将中心词周围的四个词作为作为其上下文信息，那么语句 College students have holidays in January and July 中 in 的上下文信息为 have、holidays、January 和 and，对应于集合 $\mathcal{X}$ 中表示为 $(\mathrm{have},\mathrm{holidays},\mathrm{January},\mathrm{and})$ 的一个元素，该训练样本的标签为 $\mathrm{en}$，特征为 $(\mathrm{have},\mathrm{holidays},\mathrm{January},\mathrm{and})$。如果存在多条含 in 的语句，那么这些语句中 in 的周围词组成的向量将构成集合 $\mathcal{X}$。特征函数是一种指示函数（indicator function），用于筛选样本是否具备某类特征。比如
$$f_1(x,y)=\{\begin{array}{lc}1,& \text{if}y=\mathrm{en}\text{and}\mathrm{MONTHs}\text{follow}\mathrm{in}\\ 0,& \text{otherwise}\end{array}$$
特征函数 $f_1$ 将上下文具有 in MONTH 结构且标签为 en 的样本筛选出来。显然，上面提到的样本符合特征函数 $f_1$；再比如
$$f_2(x,y)=\{\begin{array}{lc}1,& \text{if}y=\grave{\mathrm{a}}\text{and}\mathrm{CITYs}\text{follow}\mathrm{in}\\ 0,& \text{otherwise}\end{array}$$
特征函数 $f_2$ 将上下文具有 in CITY 结构且标签为 à 的样本筛选出来。对于上面的样本该特征函数不再奏效，但是从语句 I have lived in Peking for a long time 中得到的中心词为 in 的样本符合特征函数 $f_2$。

注意，不同的样本可能符合相同的特征函数，比如语句 College students have holidays in January and July 和 I will graduate in June and study for doctorate in September 关于 in 形成的样本标签均为 en，那么尽管两个样本特征不完全一致，却都符合特征函数。特征函数筛选出一类样本，而不是唯一样本。另外，同一样本也可以符合不同的特征函数。

建立最大熵的目的是对于给定的输入 $x\in \mathcal{X}$，以条件概率 $P(y\mid x)$ 输出 $y\in \mathcal{Y}$，即利用训练好的最大熵模型选择条件概率 $P(y\mid x)$ 最大的候选结果作为最终的判定结果：
$$y^{\ast }=\arg \underset{y\in \mathcal{Y}}{\max }{P}^{\ast }(y\mid x)$$
其中，$P^{\ast }(y\mid x)$ 为训练好的概率分布，即满足最大熵原理的概率分布。

根据条件熵的定义可知，使条件概率分布的熵最大，就是使两个随机的条件熵最大。因此条件熵表示为
$$\begin{array}{rl}H(P)& =H(\mathcal{Y}\mid \mathcal{X})\\ & =\sum _{x\in \mathcal{X}}P(x)H(\mathcal{Y}\mid \mathcal{X}=x)\\ & =-\sum _{x\in \mathcal{X}}P(x)\sum _{y\in \mathcal{Y}}P(\mathcal{Y}=y\mid \mathcal{X}=x)\log P(\mathcal{Y}=y\mid \mathcal{X}=x)\\ & =-\sum _{x,y}P(x)P(y\mid x)\log P(y\mid x)\end{array}\text{\hspace{1em}(1)}$$
其中，$P$ 是条件概率分布 $P(y\mid x)$ 的简写。根据最大熵原则，我们从满足约束条件的概率分布集合 $\mathcal{P}$ 中选择熵最大的概率分布 $P^{\ast }$ 作为目标概率分布，即最大化条件概率分布的熵：
$$P^{\ast }(y\mid x)=\arg \underset{P\in \mathcal{P}}{\max }H(P)\text{\hspace{1em}(2)}$$
集合 $\mathcal{P}$ 中分布满足的约束可以抽象地概括为，与经验分布近似；或者说以“目标分布与经验分布近似”为指导思想规定约束。给定训练数据集，可以确定经验联合分布 $\tilde{P}(x,y)$ 和经验边缘分布 $\tilde{P}(x)$，
$$\begin{gathered} \tilde{P}(x)＝\frac{\mathrm{Count}(x)}{N} \\ \tilde{P}(x,y)=\frac{\mathrm{Count}(x,y)}{N} \end{gathered}$$
其中，$\mathrm{Count}(x,y)$ 表示训练数据中样本 $(x,y)$ 出现的频数，$\mathrm{Count}(x)$ 同理，$N$ 表示训练样本容量。

注意，符号会有点重复。如果认为 $P(y\mid x)$ 中的 $x$ 和 $y$ 为占位符，而不是具体实例，那么 $P(y\mid x)$ 表示的是整个条件概率分布。读者应当具备从上下文出发正确理解符号的能力。

根据规定约束的指导思想，确定一个显而易见的约束条件：
$$\tilde{P}(x)=P(x)\text{\hspace{1em}(3)}$$
约束条件式 $(3)$ 表示目标边缘概率分布 $P(x)$ 必须符合已知训练数据集中的边缘概率分布 $\tilde{P}(x)$。利用约束 $(3)$ 对条件熵式 $(1)$ 变形得
$$H(P)=-\sum _{x,y}\tilde{P}(x)P(y\mid x)\log P(y\mid x)\text{\hspace{1em}(4)}$$
我们需要明确，在规定了约束 $(3)$ 的条件下，不能够再直接约束目标联合概率分布与经验联合概率分布相同，即 $\tilde{P}(x,y)=P(x,y)$，因为在联合概率和边缘概率均已知的情况下，条件概率将唯一确定，即目标条件概率分布与训练数据集的条件概率分布一致。但是需要注意，如果二者一致，那么模型将失去意义，输入的新样本的类别完全依赖于已知数据集的分布，也就是说我们认为数据集提供的信息是完整的，但这显然不可能。以文章最开始提到的不考虑上下文的翻译问题为例，如果直接将 in 的每种翻译结果的统计频率作为目标概率分布，将不会用到最大熵原理，因为每种结果都是确定的概率。另外，以这样的方式建立的模型对统计频率非常敏感，数据集的轻微变化都会影响到模型，这种模型显然不是我们想要的。出现这种情况的原因在于，我们的约束太“紧”，以至于直接规定了目标概率分布，这使得我们只有唯一分布可选；而我们最初的想法其实是希望在约束构成的可行域中，利用最大熵原理确定分布。过“紧”的约束使得可行域缩成一个点，即唯一可行解，导致最大熵原理失去用武之地。避免约束过“紧”的一种直观的好方法是，仅选定我们非常有把握存在的知识作为约束，适当抛弃一些没有把握、相对主观的假设，这也是最大熵原理能在最大熵模型中发挥作用的前提。

因此，我们不会直接约束 $\tilde{P}(x,y)=P(x,y)$，而是采用一种更加有效、更加可行的约束。用 $E_{\tilde{P}}(f)$ 表示特征函数 $f(x,y)$ 关于经验分布 $\tilde{P}(x,y)$ 的期望值：
$$E_{\tilde{P}}(f)=\sum _{x,y}\tilde{P}(x,y)f(x,y)$$
用 $E_P(f)$ 表示特征函数 $f(x,y)$ 关于目标联合分布 $P(x,y)$ 的期望值：
$$E_P(f)=\sum _{x,y}P(x,y)f(x,y)$$
利用条件概率公式和约束 $(3)$ 对上式变形，得
$$E_P(f)=\sum _{x,y}\tilde{P}(x)P(y\mid x)f(x,y)$$
如果模型能够获取训练数据中的信息，那么可以假设这两个期望值相等，即
$$E_P(f)=E_{\tilde{P}}(f)$$
或
$$\sum _{x,y}\tilde{P}(x)P(y\mid x)f(x,y)=\sum _{x,y}\tilde{P}(x,y)f(x,y)\text{\hspace{1em}(5)}$$
式 $(5)$ 作为新的约束。相比于约束 $\tilde{P}(x,y)=P(x,y)$，约束 $(5)$ 不是直接限制目标联合分布与经验联合分布相同，而是限制目标联合分布与经验联合分布在某些特征上的期望值相同。显然，约束条件得到了放松，让可选的模型不再唯一；同时，考虑了样本的特征信息，模型更加合理。另外，我们已经将全部与 $P(x)$ 有关的位置利用约束 $(3)$ 进行了替换，所以约束 $(3)$ 被隐式地包含在条件熵 $(4)$ 和约束 $(5)$ 中，不需要显式表示。

考虑到已知的样本数据集不可能只有一种有价值的特征，我们需要定义多个特征函数来提取不同的特征信息。假设根据经验，定义了 $n$ 个特征函数 $f_i(x,y),i=1,2,\dots ,n$，那么将对应 $n$ 个与特征函数有关的约束条件。最大熵模型的定义如下。

假设满足所有约束条件的模型集合为
$$\mathcal{P}=\{P\mid E_P(f_i)=E_{\tilde{P}}(f_i),i=1,2,\dots ,n\}$$
定义在条件概率分布 $P(y\mid x)$ 上的熵为
$$H(P)=-\sum _{x\in \mathcal{X},y\in \mathcal{Y}}\tilde{P}(x)P(y\mid x)\log P(y\mid x)$$
则模型集合 $\mathcal{P}$ 中条件熵 $H(P)$ 最大的模型称为最大熵模型。

3. 最大熵模型的学习

最大熵模型的学习过程就是求解最大熵模型的过程。最大熵模型的学习可以形式化为约束最优化问题：
$$\begin{array}{lcc}\underset{P}{\max }& H(P)=-\sum _{x\in \mathcal{X},y\in \mathcal{Y}}\tilde{P}(x)P(y\mid x)\log P(y\mid x)& \\ s.t.& E_P(f_i)=E_{\tilde{P}}(f_i),i=1,2,\dots ,n& \\ & \sum _{x\in \mathcal{X},y\in \mathcal{Y}}\tilde{P}(x)P(y\mid x)=1& \end{array}$$
观察优化问题中第二部分约束条件，该约束条件的意义在于指明 $P$ 是合法的概率分布，其来源为将式 $(3)$ 代入 $\sum _{x\in \mathcal{X},y\in \mathcal{Y}}P(x,y)=1$。另外，还有一个没有标出的约束条件 $\sum _{y\in \mathcal{Y}}P(y\mid x)=1$，此约束不会出现在拉格朗日函数中，但是并非忽略，只是让其在合适时机发挥作用，并不会影响结果。

注意，在讨论最大熵模型的概念时，认为约束条件只有式 $(5)$ 一类；但是当讨论其等价最优化问题，涉及严格计算时，新增加的两个对概率分布合法性的约束是不可忽略的。

按照最优化问题的习惯，将求最大值问题改写为等价的求最小值问题：
$$\begin{array}{lcc}\underset{P}{\min }& -H(P)=\sum _{x,y}\tilde{P}(x)P(y\mid x)\log P(y\mid x)& \\ s.t.& E_P(f_i)-E_{\tilde{P}}(f_i)=0,i=1,2,\dots ,n& \\ & \sum _{x,y}\tilde{P}(x)P(y\mid x)=1& \end{array}\text{\hspace{1em}(6)}$$
求解约束最优化问题 $(6)$，所得出的解就是最大熵模型学习的解。下面给出具体推导。

将约束最优化的原始问题转换为无约束最优化的对偶问题，通过求解对偶问题求解原始问题。首先引进拉格朗日乘子 $w_0,w_1,\dots ,w_n$，定义拉格朗日函数 $L(P,w)$：
$$\begin{array}{rl}L(P,w)& =-H(P)+w_o\left(1-\sum _{x,y}\tilde{P}(x)P(y\mid x)\right)+\sum _{i=1}^n{w}_i(E_{\tilde{P}}(f_i)-E_P(f_i))\\ & =\sum _{x,y}\tilde{P}(x)P(y\mid x)\log P(y\mid x)+w_0\left(1-\sum _{x,y}\tilde{P}(x)P(y\mid x)\right)+\sum _{i=1}^n{w}_i\left(\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _{x,y}\tilde{P}(x)P(y\mid x)f_i(x,y)\right)\end{array}\text{\hspace{1em}(7)}$$
最优化的原始问题是
$$\underset{P}{\min }\underset{w}{\max }L(P,w)\text{\hspace{1em}(8)}$$
对偶问题是
$$\underset{w}{\max }\underset{P}{\min }L(P,w)\text{\hspace{1em}(9)}$$
根据拉格朗日函数 $L(P,w)$ 关于 $P$ 的二阶导数大于等于零可知，$L(P,w)$ 是 $P$ 的凸函数，原始问题的解与对偶问题的解等价。这样，可以通过求解对偶问题来求解原始问题。

关于二阶导数的计算，参考下面关于一阶导数的计算后自行计算。

首先，求解对偶问题 $(9)$ 内部的极小化问题 $\underset{P}{\min }L(P,w)$。$\underset{P}{\min }L(P,w)$ 是 $w$ 的函数，将其记作
$$\psi (w)=\underset{P}{\min }L(P,w)=L(P_w,w)$$
其中，
$$P_w=\arg \underset{P}{\min }L(P,w)=P_w(y\mid x)$$
计算拉格朗日函数 $L(P,w)$ 对 $P$ 的偏导数
$$\begin{array}{rl}\frac{\partial L(P,w)}{\partial P(y\mid x)}& =\tilde{P}(x)(\log P(y\mid x)+)-\tilde{P}(x)w_0-\tilde{P}(x)\sum _{i=1}^n{w}_i{f}_i(x,y)\\ & =\tilde{P}(x)\left(\log P(y\mid x)+1-w_0-\sum _{i=1}^n{w}_i{f}_i(x,y)\right)\end{array}$$

这里计算偏导中的 $P(y\mid x)$ 认为是一个具体实例，而不是整个分布。因为不同的 $x$ 和 $y$ 对应的全部情况为 $\mathcal{X}\times \mathcal{Y}$（笛卡尔积），所以上式表达的其实是多个偏导函数，即对每种取值情况的偏导。

令偏导数为零，在 $\tilde{P}(x)>0$ 的情况下，解得
$$P(y\mid x)=\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)+w_0-1\right)=\frac{\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)}{\exp (1-w_0)}\text{\hspace{1em}(10)}$$
上面提到过有个没有标出的约束 ${\sum }_{y}P(y\mid x)=1$，这里利用这个约束，对上式等式两侧同时关于 $y$ 求和得
$$\sum _{y}P(y\mid x)=\frac{\sum _y\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)}{\exp (1-w_0)}=1$$
可得
$$\exp (1-w_0)=\frac{1}{\sum _y\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)}$$
代回到式 $(10)$ 中得
$$P_w=\frac{1}{Z_w(x)}\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)\text{\hspace{1em}(11)}$$
其中
$$Z_w(x)=\sum _y\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)\text{\hspace{1em}(12)}$$
$Z_w(x)$ 称为规范化因子（normalizing factor）。可以发现，目标最大熵模型 $P_w$ 与 $w_0$ 不再相关，仅与 $w_1,w_2,\dots ,w_n$ 有关，分别对应特征 $f_1,f_2,\dots ,f_n$ 的权重，权重越大表明特征越关键。

得到对偶问题 $(9)$ 内层极小问题的解 $P_w$ 后，接着求解外层的极大值问题：
$$\underset{w}{\max }\psi (w)=\underset{w}{\max }L(P_w,w)$$
其中 $\psi (w)$ 为
$$\begin{array}{rl}\psi (w)& =L(P_w,w)\\ & =\sum _{x,y}\tilde{P}(x)P_w(y\mid x)\log P_w(y\mid x)+w_0\left(1-\sum _{x,y}\tilde{P}(x)P_w(y\mid x)\right)+\sum _{i=1}^n{w}_i\left(\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _{x,y}\tilde{P}(x)P_w(y\mid x)f_i(x,y)\right)\end{array}$$
$\psi (w)$ 表达式的第二项，利用式 $(11)$ 和式 $(12)$ 可以进行如下变形
$$\begin{array}{rl}{w}_0\left(1-\sum _{x,y}\tilde{P}(x)P_w(y\mid x)\right)& =w_0\left(1-\sum _x\sum _y{P}_w(y\mid x)\tilde{P}(x)\right)\\ & =w_0\left(1-\sum _x(\sum _y{P}_w(y\mid x))\tilde{P}(x)\right)\\ & =w_0\left(1-\sum _x\tilde{P}(x)\right)\\ & =0\end{array}$$
因此第二项可以去掉。利用式 $(11)$ 和式 $(12)$ 对去掉第二项的 $\psi (w)$ 进行如下变形
$$\begin{array}{rl}\psi (w)& =\sum _{x,y}\tilde{P}(x)P_w(y\mid x)\log P_w(y\mid x)+\sum _{i=1}^n{w}_i\left(\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _{x,y}\tilde{P}(x)P_w(y\mid x)f_i(x,y)\right)\\ & =\sum _{x,y}\tilde{P}(x)P_w(y\mid x)\log P_w(y\mid x)+\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _{x,y}\tilde{P}(x)P_w(y\mid x)\sum _{i=1}^n{w}_i{f}_i(x,y)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)+\sum _{x,y}\tilde{P}(x)P_w(y\mid x)\log P_w(y\mid x)-\sum _{x,y}\tilde{P}(x)P_w(y\mid x)\sum _{i=1}^n{w}_i{f}_i(x,y)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)+\sum _{x,y}\tilde{P}(x)P_w(y\mid x)\left(\log P_w(y\mid x)-\sum _{i=1}^n{w}_i{f}_i(x,y)\right)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)+\sum _{x,y}\tilde{P}(x)P_w(y\mid x)\left(-Z_w(x)\right)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)Z_w(x)\sum _y{P}_w(y\mid x)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log Z_w(x)\end{array}\text{\hspace{1em}(13)}$$

4. 与极大似然估计的关系

上面得到了 $\psi (w)$ 的具体表达式，剩下的任务是求解其最大值点 $w^{\ast }$。但在讨论具体的最优化算法之前，我们再补充一下对偶函数的极大化与最大熵模型的极大似然估计等价的证明。

我们先来讨论一般形式的似然函数，再由此引出最大熵模型的似然函数。

似然函数的通用定义形式为
$$L(x_1,x_2,\dots ,x_N\mid \theta )=\prod _{i=1}^{N}P(x_i\mid \theta )$$
其中，$x_i$ 表示样本具体的观测值，$N$ 为样本数量，该式表示数据集中样本的联合概率。假设样本可能的观测值有 $k$ 个，分别为 $v_1,v_2,\dots ,v_k$，则似然函数 $L$ 可以等价地表示为
$$L(x_1,x_2,\dots ,x_N\mid \theta )=\prod _{i=1}^{k}P(x=v_i{)}^{\mathrm{Count}(x=v_i)}$$
其中 $\mathrm{Count}(x=v_i)$ 表示观测值为 $v_i$ 的样本在数据集中的出现频数。对等式两侧同时开 $N$ 次方，可得
$$L(x_1,x_2,\dots ,x_N\mid \theta {)}^{\frac{1}{N}}=\prod _{i=1}^{k}P(x=v_i{)}^{\frac{\mathrm{Count}(x=v_i)}{N}}$$
由于经验概率 $\tilde{P}(x=v_i)=\frac{\mathrm{Count}(x=v_i)}{N}$，所以
$$L(x_1,x_2,\dots ,x_N\mid \theta {)}^{\frac{1}{N}}=\prod _{i=1}^{k}P(x=v_i{)}^{\tilde{P}(x=v_i)}$$
据上式可以写出最大熵模型中联合概率分布 $P(x,y)$ 的对数似然函数：
$$L(P_w(x,y))=\log \prod _{x\in \mathcal{X},y\in \mathcal{Y}}{P}_w(x,y{)}^{\tilde{P}(x,y)}$$
最大熵模型是满足 $P(x)=\tilde{P}(x)$ 约束的模型，$L(P_w(x,y))$ 函数可以表示为 $L(\tilde{P}(x)P_w(y\mid x))$，其中 $\tilde{P}(x)$ 为常数，因此 $L$ 本质上是关于 $P_w=P_w(y\mid x)$ 的函数（更准确地说，应该是关于 $w$ 的函数），即
$$\begin{array}{rl}L(P_w)& =\log \prod _{x\in \mathcal{X},y\in \mathcal{Y}}{P}_w(x,y{)}^{\tilde{P}(x,y)}\\ & =\sum _{x,y}\tilde{P}(x,y)\log P(x,y)\\ & =\sum _{x,y}\tilde{P}(x,y)\log [\tilde{P}(x)P(y\mid x)]\\ & =\sum _{x,y}\tilde{P}(x,y)\log P(y\mid x)+\sum _{x,y}\tilde{P}(x,y)\log \tilde{P}(x)\end{array}$$
第二项与 $P_w$ 无关，可忽略。上式等价表示为
$$L(P_w)=\sum _{x,y}\tilde{P}(x,y)\log P(y\mid x)\text{\hspace{1em}(14)}$$
将式 $(11)$ 和式 $(12)$ 代入得
$$\begin{array}{rl}L(P_w)& =\sum _{x,y}\tilde{P}(x,y)\log P(y\mid x)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _{x,y}\tilde{P}(x,y)\log Z_w(x)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x(\sum _y\tilde{P}(x,y))\log Z_w(x)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log Z_w(x)\end{array}\text{\hspace{1em}(15)}$$
比较式 $(13)$ 和式 $(15)$ 可得
$$\psi (w)=L(P_w)$$
既然对偶函数 $\psi (w)$ 等价于对数似然函数 $L(P_w)$，于是证明了最大熵模型学习中的对偶函数极大化等价于最大熵模型的极大似然估计这一事实。

也可以从交叉熵的角度来理解式 $(14)$。交叉熵（cross entropy）用于度量真实分布与非真实分布之间的差异，我们希望差异最小，即交叉熵最小化
$$\begin{array}{rl}\mathrm{CrossEntropy}& =-\sum _{x,y}\tilde{P}(x,y)\log P(x,y)\\ & =-\sum _{x,y}\tilde{P}(x,y)\log [\tilde{P}(x)P(y\mid x)]\\ & =-\sum _{x,y}\tilde{P}(x,y)\log P(y\mid x)-\sum _{x,y}\tilde{P}(x,y)\log \tilde{P}(x)\end{array}$$
第二项为常数，可忽略。因此，极小化交叉熵等价于极大化 $L(P_w)$（即式 $(14)$）。

这样，最大熵的学习问题就转换为具体求解对数似然函数极大化或对偶函数极大化的问题。

最大熵模型与逻辑回归模型有类似的形式，它们被称为线性对数模型（log linear model）。