机器学习 - 最大熵模型

• 最大熵原理

  最大熵的思想认为，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型（对未知的事实视为等概率发生，不添加任何主观先验知识）。

  我们通常用约束条件来确定概率模型的集合，所以也可认为是在满足约束条件的模型中选出熵最大的模型。

  最大熵模型给出的是 最优模型选择的一个准则。

  例：
  X = {A, B, C ,D, E}，要估计 P(A)，…，P(E) 的概率，要满足条件：
  ① P(A) + P(B) = 3/10；
  ② P(A) + … + P(E) = 1

  此时满足条件的概率组合有无穷多个，而根据最大熵原理，我们视等概率的组合为最优。

  则：
  $P(A)=P(B)=\frac{1}{2}\cdot \frac{3}{10}=\frac{3}{20}$

  $P(C)+P(D)+P(E)=1-\frac{3}{10}=\frac{7}{10}\to P(C)=P(D)=P(E)=\frac{1}{3}\cdot \frac{7}{10}=\frac{7}{30}$

• 最大熵例子

最大熵一般需要满足一定的约束条件，在此情况下寻找熵最大的模型。即相当于在满足已知条件的情况下，不加入任何先验知识，寻找最优模型。

例如，决策树在生成过程中，其分类结点的熵是不断减小的，但最终熵越小，过拟合程度越高，所以需要剪枝。

剪枝过程就是在保持预测误差基本不变的情况下，使结点分类的熵最大，使得过拟合程度降低（应用最大熵原理）。

• 最大熵模型

  假设分类模型是一个 条件概率分布 $P(Y|X)$，此模型表示的是：对于给定输入 $X$，以条件概率 $P(Y|X)$ 输出 $Y$.

  1. 定义

     $P(X=x,Y=y)=\frac{V(X=x,Y=y)}{N}$

     $P(X=x)=\frac{V(X=x)}{N}$

     其中，

     " ~ " 表示经验，是从数据中获得的，$P$ 即经验概率，$E_P$ 即经验期望。

     $V(X=x,Y=y)$ 表示在训练样本中 $(x,y)$ 同时出现的样本数；

     $V(X=x)$ 表示训练样本中 $x$ 出现的的样本数。

     ---

     用特征函数 $f(x,y)$ 描述 $x$ 与 $y$ 之间的事实：$f(x,y)=\{\begin{array}{l}1，x与y满足某事实\\ 0，otherwise\end{array}$

     特征函数 $f(x,y)$ 关于 $P(x,y)$ 期望值：$E_P(f)={\sum }_{x,y}P(x,y)f(x,y)$

     特征函数 $f(x,y)$ 关于模型 $P(Y|X)$ 以及 $P(x)$ 的期望值：$E_P(f)={\sum }_{x,y}P(x)p(y|x)f(x,y)$

     ---

     如果模型能够学习到训练数据中的信息，则可假设 $E_P(f)=E_P(f)$ （可类比于之前《损失函数》中提到的“经验损失”与“期望损失”）

     即，

     ${\sum }_{x,y}P(x,y)f(x,y)={\sum }_{x,y}P(x)p(y|x)f(x,y)$

     并以此作为约束条件。

     则最大熵模型可作如下定义：

     ---

     假设满足所有约束条件的 模型集合 为：$C\equiv \{p\in P|E_p(f_i)=E_p(f_i)，i=1,2,\dots ,n\}$

     定义在条件概率分布 $P(Y|X)$ 上的条件熵为 $H(p)=-{\sum }_{x,y}P(x)p(y|x)\log p(y|x)$

     则模型集合 $C$ 中条件熵 $H(p)$ 最大的模型称为 最大熵模型。

  2. 最大熵模型的学习

     $\bullet$ 学习问题可形式化为约束优化问题，等价于：

     ${\max }_{p\in C}H(p)=-{\sum }_{x,y}P(x)p(y|x)\log p(y|x)$
     $s.t$      $E_p(f_i))=E_p(f_i)),i=1,2,\dots ,n$
             ${\sum }_{y}p(y|x)=1$

     $\bullet$ 最小化 → 最大化

     ${\min }_{p\in C}-H(p)={\sum }_{x,y}P(x)p(y|x)\log p(y|x)$
     $s.t$      $E_p(f_i))=E_p(f_i)),i=1,2,\dots ,n$
             ${\sum }_{y}p(y|x)=1$

     $\bullet$ 引入拉格朗日乘子

     $L(p,w)\equiv -H(p)+w_0(1-{\sum }_{y}p(y|x))+{\sum }_{i=1}^n{w}_i(E_p(f_i)-E_p(f_i))$

     ${\max }_{w}L(p,w)=-H(p)$

     $\bullet$ 最小化 $-H(p)$

     ${\min }_{p\in C}{\max }_{w}L(p,w)={\min }_{p\in C}-H(p)$

     $\bullet$ 对偶问题

     ${\max }_w{\min }_{p\in C}L(p,w)$

     由于 $L(p,w)$ 是凸函数，所以原始问题于对偶问题等价。

     $\bullet$ 计算

     对 $p$ 求偏导，且令导数为 0：

     $\frac{\partial L(p,w)}{\partial p(y_i|x_i)}=0，i=1,2,\dots ,n$

     代回原式子，再对 $w_0,w_1$ 分别求偏导，且令导数为 0 ：

     求解后代回，计算 $p(y_i|x_i)，i=1,2,\dots ,n$

     $\bullet$ 最终模型表示为：

     $p_w(y|x)=\frac{1}{z_w(x)}{e}^{{\sum }_{i=1}^n{w}_i{f}_i(x,y)}$

     其中，$z_w(x)={\sum }_y{e}^{{\sum }_{i=1}^n{w}_i{f}_i(x,y)}$ 可视为为归一化因子。

  3. 极大似然估计求解

     已知训练数据的经验概率分布 $p(x,y)$，

     条件概率分布为 $p(Y|X)$ 的对数似然函数表示为：

     $L_p(p_w)=\log {\prod }_{x,y}p(y|x{)}^{p(x,y)}={\sum }_{x,y}p(x,y)\log p(y|x)$

     当条件概率分布 $p(y,x)$ 是最大熵模型时：

     $L_p(p_w)={\sum }_{x,y}p(x,y){\sum }_{i=1}^n{w}_i{f}_i(x,y)-{\sum }_{x,y}p(x,y)\log z_w(x)$
             $={\sum }_{x,y}p(x,y){\sum }_{i=1}^n{w}_i{f}_i(x,y)-{\sum }_{x}p(x)\log z_w(x)$